Artificial Analysis 联合 Google DeepMind 推出 MKA 多模态智能体基准

Artificial Analysis 与 Google DeepMind 合作推出 Multimodal Knowledge Agent（MKA）基准，包含 200 个跨 10 个行业的私有真实视觉任务，要求智能体阅读建筑图纸、工程原理图、临床扫描等复杂视觉文件，产出幻灯片、表格、PDF 报告和标注图像等交付物。每项任务以约 70 条加权专家评分标准打分，分为基线 Regression 与更高难度的 Climb 两类，头条指标为 Climb WSR。 测试在开源智能体框架 Stirrup 中进行，配备代码执行、网页搜索、网页抓取与图像查看工具，最多 250 轮，并使用 GPT-6 Luna（medium）作为智能体评审。结果上 Claude Fable 5.2（max）以 57% 的 Climb WSR 居首，Gemini 4 Carbon（high）为 54%，Claude Opus 5.5（max）为 53%。 成本差异显著：Claude Fable 5.2 平均每任务 $31.97，约为 Gemini 4 Carbon（$6.29）的 5 倍、GPT-6.1 Sol（$1.11）的 29 倍，而 OpenAI 四款受测模型均处于性价比 Pareto 前沿。没有任何单一模型在全部 10 个行业领先，各垂直领域由 Claude、Gemini 系列分头占据第一。