Exam

general · First seen 2026-06-08 · Last seen 2026-11-18 · 162 mentions

Overview

Exam 在当前 AI 领域主要指以考试题目形式评测大模型与智能体能力的基准测试体系,是衡量模型推理、数学与工程能力最常用的评估方式之一。随着模型能力快速提升,围绕 Exam 的讨论正从“跑分高低”转向“基准是否还有区分度、能否反映真实智能”的反思。

Exam 类基准近期进展

  • arXiv 上发布的 Endless Exam 基准,用 14 类数学构造来衡量模型通往超级智能的进度,试图通过可无限生成的题目缓解静态基准被“刷爆”的问题。
  • Google Cloud 发布 PLE 基准,包含 85 个真实工程任务,但最佳智能体仅得 50.6%,说明即便是前沿模型,在贴近真实工作的 Exam 式评测中仍有明显差距。
  • LLM 自演化基准测试 RSI-Exam 发布,将评测对象从“解题能力”扩展到模型自我改进的能力层面。
  • EverMind AI 开源多智能体系统 Raven,为每个模型单独演化评测 harness,反映出 Exam 结果越来越依赖评测框架本身的设计。
  • 模型成绩与 Exam 分数的关联

    新模型发布时的 Exam 成绩仍是核心卖点之一。MiniMax 开源的 M3.1 Flash 采用 428B 参数、每次激活 23B 的架构,在 Artificial Analysis 的 Intelligence Index 中得 42 分,单任务成本降至 $0.22。OpenAI 则发布 GPT-6 Sol 与 GPT-6 Luna 两款模型,API 定价比 GPT-5.6 便宜 50%,同时 Astra 在多项 AI 代理基准测试中创下佳绩。这些数字表明厂商在比拼能力分数的同时,也在把价格与效率作为竞争维度。

    当前焦点与观察点

    围绕 Exam 的争议主要集中在三点:一是静态题库可能被训练数据污染,导致分数虚高;二是考试型分数与真实工程表现脱节,PLE 基准 50.6% 的成绩就是例证;三是评测框架差异会让同一模型得出不同结论。可无限生成的动态题目、真实任务环境、以及针对自演化能力的评测,是目前可见的应对方向。对普通观察者而言,看 Exam 分数时应同时关注题目来源、任务构成与成本数据,避免只依据单一榜单下结论。

    Coverage

    10 on file