Benchmarks（基准测试）是用来量化衡量 AI 模型在特定任务上能力的标准化评测体系，是开发者和企业选型模型时最常参考的依据。随着模型能力趋同、营销与真实表现之间出现落差，行业正从依赖传统综合榜单，转向面向具体任务场景的垂直基准。近期，OpenRouter 等平台密集推出路由、搜索、视频、图像等细分维度的评测，反映出这一趋势。
Benchmarks 近期进展
当前焦点与观察点
当前 benchmarks 领域的核心争议在于评测的有效性和中立性。一方面，传统通用榜单被质疑与真实使用体验脱节，刷榜、数据污染等问题频发；另一方面，厂商自建基准增多，评测标准由谁制定、是否公平，缺乏第三方约束。mem0 提出评判智能体记忆基准的三个标准，正是在尝试为「如何设计一个好基准」本身立规矩。
值得关注的观察点有三个：其一，评测是否走向 API 化和实时化——OpenRouter 已将基准测试页面开放 API 访问，实时数据可能取代静态榜单；其二，agentic（智能体）基准是否会成为下一阶段的主流，因为多步任务的能力难以用单轮问答衡量；其三，开源社区与厂商主导的基准之间能否形成共识，避免同一模型在不同榜单上排名严重分裂。对普通用户而言，垂直 benchmarks 的价值在于把「哪个模型好」拆解为「哪个模型在我想做的任务上好」，这一转变正在让评测结果更可操作，也对评测透明度提出更高要求。