AutomationBench-AA 是 Artificial Analysis 推出的自动化能力基准测试,用于衡量大模型在多步骤任务执行、工具调用与工作流编排等真实自动化场景中的表现,是判断模型能否胜任 Agent 类应用的重要参考之一。
AutomationBench-AA 近期进展
近一个月的多款新模型正在改变自动化相关榜单的排名格局。Google 发布的 Gemini 4 Argon 已正式商用,据 Artificial Analysis 的评测数据,其智能指数与 GPT-6 Astra 持平,但价格便宜约四成,性价比优势使其在自动化任务的实际部署中受到关注(Gemini 4 Argon 正式商用)。此前 Gemini 4 系列 在 AAI 指数上已表现优异(Gemini 4 在AAI指数表现优异)。
开源侧的竞争同样激烈。Reflection 的首个开源权重模型 Beam 登上美国开源权重模型第二位(Beam 登上美国开源权重模型第二位),NVIDIA AI 也对其发布表示祝贺(NVIDIA AI 祝贺)。Meta 则连续推出多款模型,包括 816B 总参数(42B 激活)的 Muse Spark Open(Meta 发布 Muse Spark Open)以及 Muse Wonder 系列(Meta 发布 Muse Wonder)。
当前焦点与观察点
效率与成本正在成为自动化模型竞争的主线。MiniMax M3.1 Flash 宣称速度提升 3 倍、价格降低 70%(MiniMax M3.1 Flash 上线),Ling 3.1 Flash 也在智能水平上取得大幅提升(Ling 3.1 Flash 大幅进步);Anthropic 发布的 Claude Haiku 5.5 亦取得不俗成绩(Claude Haiku 5.5 发布)。
对关注 AutomationBench-AA 的从业者而言,值得持续观察的是:其一,轻量高速模型能否在多步骤自动化任务中保持长程稳定性,而不只是单点智能分数领先;其二,开源权重模型与闭源模型的差距收窄速度;其三,价格大幅下降是否会推动自动化应用从试点走向规模化落地。