论文多源确认

Ai2 推出 TutorMoments 基准:测试模型辅导学生时会不会越俎代庖

精选理由

Ai2 做了个叫 TutorMoments 的测试,看模型辅导作业是引导你自己想还是直接给答案,Astra 和 Opus 5.5 都被测了,提示词写细一点分数明显更高。

Ai2(Allen Institute for AI)发布了 TutorMoments 评测,用于检验 LLM 在辅导场景中是引导学生自己解题,还是直接替学生完成任务。测试对象包括 Astra 和 Opus 5.5 等前沿模型。结果显示,给模型详细的提示词时,得分普遍高于只说“好好辅导”的简单指令。

原文 · Allen AI (Ai2)

We tested frontier models including Astra & Opus 5.5 on TutorMoments, our eval for whether LLMs help students solve problems themselves or do too much for them.

In general, models scored better with detailed prompts than when told only to “tutor well.”

https://t.co/eA3uQpem6p https://t.co/MWMN1K5RQh

  • Artificial Analysis10-12 23:40原文
  • orange.ai10-11 08:54原文
  • Alexandr Wang (Meta MSL)10-12 17:51原文
  • AWS Machine Learning Blog10-12 17:52原文
  • rohanpaul_ai10-12 18:40原文
  • lmarena.ai02:39原文
  • TestingCatalog18:16原文
  • 量子位10-12 07:48原文
  • kimmonismus10-12 16:56原文
  • Paul Couvert10-12 17:12原文