AutomationBench

general · First seen 2026-05-22 · Last seen 2026-11-20 · 148 mentions

Overview

AutomationBench 是一个用于评估 AI 智能体在自动化任务上表现的基准测试,通过一系列可量化打分的任务衡量模型执行多步骤操作的能力,近期的讨论焦点已从“谁跑分高”转向“基准本身是否可靠”。

AutomationBench 的近期进展

近期最受关注的是围绕其评分质量的质疑。xeophon 指出 AutomationBench 与 OfficeQA Pro v2 基准存在评分缺陷,认为其打分方式可能高估或低估模型的真实能力。这类批评在社区引发讨论,也促使更多团队在发布模型时附带多种基准交叉验证。

在相关评测语境中,新模型的发布密集出现。Anthropic 发布 Claude Fable 5.2,在 FrontierCode 上得 49.1%,API 价格降至每百万 8/40 美元;Meta 发布 Muse Ember,以 36 分追平 Claude Haiku 5.5,成本仅为其三分之一。

当前焦点与观察点

围绕 AutomationBench 的争议核心在于:任务设计与评分脚本是否真的反映了智能体在真实自动化场景中的表现。EnvOpt 论文提供了一个侧面印证——优化智能体运行环境后,Haiku 4.5 通过率提升 14.34%,说明模型得分对环境配置高度敏感,任何基准若不控制环境变量,结论都可能不稳定。

对普通读者而言,观察点有三:一是评测方是否会公开修复或回应评分缺陷;二是不同基准(如 FrontierCode、智能指数等)之间的结论是否一致,例如 Ling 3.1 Flash 1019 的智能指数升至 44 分;三是厂商宣传的跑分与实际使用体验的差距。在基准方法学尚存争议的当下,单一分数不宜作为选型依据,交叉对照仍是更稳妥的做法。

Coverage

10 on file