论文精选

QuestBench:学生构建基准测试,揭示AI深层研究系统隐藏缺陷

Teaching AI Through Benchmark Construction: QuestBench as a Course-Based Practice for Accountable Knowledge Work

精选理由

想让学生真正理解AI局限性的教育者,可以用QuestBench的方法把课堂变成AI测试场——学生自己设计问题来考AI,比单纯教提示词更有深度。

AI 摘要

北京大学团队提出一种新的AI教育方法:让学生通过构建基准测试来学习AI,而非仅将其作为效率工具。学生将学科知识转化为可验证的专家级问题,互相审查设计中的歧义和捷径,并评估AI系统。由此产生的QuestBench包含256个问题,覆盖14个人文社科领域。评估显示,13个AI系统的平均通过率仅16.85%,最佳系统GPT-5.5也仅达57.58%,暴露了当前深度研究系统的隐藏失败。学生反馈表明,这种实践帮助他们将专业知识视为判断AI输出的基础,而非AI可检索的内容。

AI 翻译 · 中文

北京大学团队提出一种新的AI教育方法:让学生通过构建基准测试来学习AI,而非仅将其作为效率工具。学生将学科知识转化为可验证的专家级问题,互相审查设计中的歧义和捷径,并评估AI系统。由此产生的QuestBench包含256个问题,覆盖14个人文社科领域。评估显示,13个AI系统的平均通过率仅16.85%,最佳系统GPT-5.5也仅达57.58%,暴露了当前深度研究系统的隐藏失败。学生反馈表明,这种实践帮助他们将专业知识视为判断AI输出的基础,而非AI可检索的内容。

arXiv cs.AIAs AI becomes part of everyday learning, many courses teach students to use it mainly as a productivity tool: how to prompt, search, summarize, write, code, and use tools more efficiently. We argue that AI education also