精选理由
这篇论文戳破了AI基准测试的泡沫——高分不等于能干实事。做AI自动化部署的团队、评估智能体能力的开发者，看完会重新审视自己的测试标准，建议点开看看真实工作场景的差距。
一篇新论文提出“Agents' Last Exam”基准测试，要求AI智能体完成来自55个数字工作领域的真实专家任务，包括工程、金融、医学、法律、媒体和科学。测试发现，当前最强的智能体系统在最难任务上的平均完全通过率仅为2.6%，远低于其基准分数所暗示的水平。该基准强调从“能否回答难题”转向“能否完成人们付费做的工作”，使用自动检查或严格评分标准而非主观评判。结果表明，基准测试的成功尚未转化为广泛的工作场所能力，智能体在真实自动化中仍不可靠。
AI 翻译 · 中文
一篇新论文提出“Agents' Last Exam”基准测试，要求AI智能体完成来自55个数字工作领域的真实专家任务，包括工程、金融、医学、法律、媒体和科学。测试发现，当前最强的智能体系统在最难任务上的平均完全通过率仅为2.6%，远低于其基准分数所暗示的水平。该基准强调从“能否回答难题”转向“能否完成人们付费做的工作”，使用自动检查或严格评分标准而非主观评判。结果表明，基准测试的成功尚未转化为广泛的工作场所能力，智能体在真实自动化中仍不可靠。
Today’s frontier agents are far less ready for real-world automation than their benchmark scores suggest. This paper proposes a Agents’ Last Exam, a benchmark that asks AI agents to finish real expert work, and today’s a…