10:09
官方一手arXiv: OpenAI@Binglin Chen, Rajarshi Haldar, Max Fowler, Matthew West, Craig Zilles
推荐理由：这篇论文详细比较了人类助教和LLM在编程反馈上的表现，揭示了LLM评估自身输出的偏差问题，对于关注教育领域AI应用的人来说值得一读。
OpenAI o1
共 2 条相关 AI 资讯
8月25日
10:09
本文针对编程入门阶段开放式简答题的反馈，提出一个基于教育文献的五项标准评估反馈质量，包括认可正确部分、识别错误、提供改进指导、保持答案适当隐藏和使用合适的对话语气。研究比较了OpenAI o1 LLM生成的反馈与九位助教对90份学生回答的反馈，结果显示LLM在人类评估者眼中平均表现优于助教，但LLM在评估自身输出时存在自我偏好偏差，这为LLM在教育环境中应用提出方法论上的挑战。
6月12日
11:48
11:48
官方账号Noam Brown (OpenAI 推理)@polynoamial
官方账号Noam Brown (OpenAI 推理)@polynoamial精选
推荐理由：AI安全评估的盲点被戳穿了——忽视推理预算的RSP和标量评估正在让安全组织措手不及，做AI安全或模型评估的团队值得反思自己的测试框架。