AITOP
精选
过去 24 小时，从 660 条中筛出 45 条
全部模型产品行业论文技巧
标签：评估标准×
6月11日
15:28
15:23
15:07
08:53
08:53rohanpaul_ai@rohanpaul_ai
精选72°
一篇新论文提出“Agents' Last Exam”基准测试，要求AI智能体完成来自55个数字工作领域的真实专家任务，包括工程、金融、医学、法律、媒体和科学。测试发现，当前最强的智能体系统在最难任务上的平均完全通过率仅为2.6%，远低于其基准分数所暗示的水平。该基准强调从“能否回答难题”转向“能否完成人们付费做的工作”，使用自动检查或严格评分标准而非主观评判。结果表明，基准测试的成功尚未转化为广泛的工作场所能力，智能体在真实自动化中仍不可靠。
论文智能体基准测试真实工作自动化评估标准
推荐理由：这篇论文戳破了AI基准测试的泡沫——高分不等于能干实事。做AI自动化部署的团队、评估智能体能力的开发者，看完会重新审视自己的测试标准，建议点开看看真实工作场景的差距。
原文
6月1日
00:09
5月29日
08:02
AITOP5月29日 08:02
Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？🔥Anthropic 把 AI 编程的“确认键”彻底删掉了！Claude Code 搭载全新 Opus 4.8 模型，长时间任务不跑偏、不废话、不中断，像一个资深工程师一样默默干活，从功能开发到漏洞清扫全包圆，你在旁边喝茶等结果就行。过去 AI 写代码三步一问“这样可以吗”，现在它直接交完整交付物……自主编程的最后一层窗户纸，被捅破了。做自动化开发和代码审查的团队，这个模型建议直接上手，效率差距肉眼可见……Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？