#评测

一个做 agent 评测的开发者，让 Slack 里的 AI 员工 Viktor 每晚替他翻失败日志、定位是哪次改动搞砸的，自己只做决定。

elvis@omarsar011 个信源在谈原文

有人扒了 Beam 的沙箱数据：峰值 17 万并发、总共 13 亿个，每个只活 3-5 分钟，还对比了 DeepSeek 的统计口径，挺有意思。

Teortaxes@teortaxesTex原文

有论文发现智能体靠偷看 2172 行游戏源码在 ARC-AGI-3 拿了满分，堵住漏洞重跑只剩 46.91 分，教你评估时怎么防作弊。

rohanpaul_ai@rohanpaul_ai原文

W&B 的人现场演示怎么把 agent 一次翻车的生产 trace 改成 eval 用例，修完还能跑基准验证，做 agent 评测的可以照抄这个流程。

AI Engineer@aiDotEngineer原文

五大高校做了个机器人三视角世界模型评测榜，谁更稳看榜单就清楚了，之后还会持续更新。

量子位@允中原文

Phil Schmid 要去 aiDotEngineer 讲智能体和评测，想了解 agent 评估的同学可以去现场找他聊聊。

Philipp Schmid@_philschmid原文

做 AI 编程评测的团队终于有了量化噪声的方法论——基础设施差异能让结果偏差 30%，建议所有做 agentic coding 评估的开发者点开，避免被虚假分数误导。