人类与机器开放式反馈质量评估标准

本文针对编程入门阶段开放式简答题的反馈，提出一个基于教育文献的五项标准评估反馈质量，包括认可正确部分、识别错误、提供改进指导、保持答案适当隐藏和使用合适的对话语气。研究比较了OpenAI o1 LLM生成的反馈与九位助教对90份学生回答的反馈，结果显示LLM在人类评估者眼中平均表现优于助教，但LLM在评估自身输出时存在自我偏好偏差，这为LLM在教育环境中应用提出方法论上的挑战。