#评测基准
arXiv 上新出的 ServeLearnBench，用 7718 个任务测 RAG、Mem0 这些框架能不能让智能体边服务边学习，结论是多数还不太行。
Shaped 给 Zapier 的 AutomationBench 做了一次验证器审计，用智能体找茬找出 206 个真实漏洞，近三成 Kimi K3 成绩因此改变，做评测的都该看看。
Shaped 把 Zapier 的 AutomationBench 全查了一遍，206 个验证器有 bug，修完后 Kimi K3 近三成评分都变了，做评测的都该看看。
这个评测思路挺聪明：造出规则完全陌生的异星世界，模型没法靠背题，只能真去探索。评测了 10 个系统的表现，结果有些意外。
这篇论文造了个诊断集，专门测长上下文模型“找到了但没用上”的问题，DeepSeek 两个模型都被测出检索满分但解读掉分，做长文本评测的可以看看。
研究人员搞了个叫OenoBench的葡萄酒知识测试题库，用这个题库测了16个大模型，发现o3考得最好，DeepSeek R1在推理题上表现突出，还发现模型对自己出的题有偏好，挺有意思的。
想评估人形机器人运动跟踪效果？HumanTracker 提供了153小时专业动作数据和更符合人眼判断的 HumanScore，能发现脚滑、触地不准这类关键问题。
做 LLM 评测的团队终于有了自动化工具——Benchmark Agent 能持续生成新基准，避免模型性能饱和，建议做模型评估的开发者直接试试。
管理咨询团队和依赖AI做深度分析的开发者会震惊——三个最先进的DRA在专家级任务中通过率不到22%，且各有致命短板。想避免被AI的自信输出误导，建议仔细看这篇评测的失败模式分析。
做工业 AI 应用或评测的团队终于有了本土化的标准测试集——2049 道题覆盖 10 个行业，直接对标中国国家标准，建议做工业大模型落地的同学点开看看。