使用行为信号和注意力检查测量AI代码补全工具的批判性参与(Clover)

To Tab or Not to Tab: Measuring Critical Engagement in AI Code Completion Tools Using Behavioral Signals and Attention Checks

精选理由

这篇论文用Clover工具测出学生无脑接受Copilot建议会导致注意力下降,建议看看怎么避免。

AI 摘要

研究者提出Clover代码补全工具,记录学生与代码建议的交互(如tab接受、停留时间),并嵌入注意力检查来探测反思性参与。基于文献构建了AI辅助编程的行为交互度量分类法。实验发现,高tab接受率与低注意力检查表现相关,而长时间停留与高注意力检查表现相关。该研究为衡量学生是否批判性评估AI代码建议提供了定量方法。

AI 翻译 · 中文

研究者提出Clover代码补全工具,记录学生与代码建议的交互(如tab接受、停留时间),并嵌入注意力检查来探测反思性参与。基于文献构建了AI辅助编程的行为交互度量分类法。实验发现,高tab接受率与低注意力检查表现相关,而长时间停留与高注意力检查表现相关。该研究为衡量学生是否批判性评估AI代码建议提供了定量方法。

arXiv cs.AIAI code completion tools, such as Github Copilot, provide students with code suggestions to help them write programs. However, recent qualitative studies suggest that students fail to critically evaluate these suggestion