AITOPAI热报

Verified

general · First seen 2026-05-22 · Last seen 2026-10-28 · 397 mentions

Overview

Verified（已验证/独立复现结果）指 AI 模型的基准成绩经过第三方或形式化流程核实后才被采信的做法，正逐渐成为区分营销数字与真实能力的分界线。随着各家模型在公开榜单上的分数越来越好看，社区开始系统性地质疑未经验证的成绩，并推动用独立评测方、形式化验证等手段建立可信度。对不了解这个词的人来说，可以把 Verified 理解为 AI 领域的'审计报告'——同一道题、同一份代码，别人跑一遍还能不能得到同样的分数。

Verified 评测近期的典型案例

  • DeepSeek V4.1 Flash 1017 在 ARC-AGI-2 上得分 78.1%：ARC Prize 作为第三方评测方公布的成绩，属于典型的 Verified 结果，78.1% 这一数字由官方基准团队而非模型发布方给出。
  • Meta 的 Muse Spark Open 在 ARC-AGI 基准上的实测成绩公布：同样是评测方主导的公开复测，说明第三方验证正在覆盖从闭源旗舰到开源模型的全谱系。
  • lmsys 用 AMD MI355X 训练 Qwen3-30B-A3B，SWE-bench 从 7.3% 提至 27.5%：SWE-bench 从 7.3% 提到 27.5% 的提升附带了完整的训练与推理配置，可复现性本身构成了验证的一部分。
  • Epoch AI 发布 4 份基准评测审查：1 份通过，3 份存在缺陷：4 份被审查的评测里 3 份发现缺陷，直观说明了'未经验证的分数有多不可靠'。

    • 验证机制本身成为研究方向

    Verified 不只是'再跑一遍'，验证方法本身也在被形式化。Lean 形式化验证的分词器管线原型：消除训练与推理的消息不一致展示了用 Lean 证明训练与推理消息格式完全一致，把验证从人工核对升级为机器可证的命题。Alibaba 与 Cornell 研究编程智能体验证机制：独立 critic 性价比最高则表明，在 Agent 场景中用独立 critic 做验证的成本收益比最好。反面证据同样存在：小参数编程 Agent 用不好代码图工具，arXiv 论文实测 79k 次试验基于 79k 次试验的实测，恰恰是大规模验证才能暴露的问题。

    当前焦点与观察点

    围绕 Verified 的争议集中在三点：一是谁有资格当验证方，ARC Prize、Epoch AI、LMSYS 这类独立机构的公信力正在被反复检验；二是验证成本，形式化方法严谨但门槛高，独立 critic 实用但覆盖面有限；三是验证与开源的关系，像 Recursive 发布开源编程模型 Flint：40B MoE 架构，激活参数仅 2.5B 和 Meta 蒸馏出 Muse Glimmer 30B，单张消费级 GPU 跑本地 Agent 这类可在本地复现的模型，天然更适合社区验证。接下来值得观察的是，主要基准是否会强制要求提交方公开推理配置，以及 Verified 标签是否会成为厂商发布成绩时的标配。

    Coverage

    10 on file