MATH-500

concept · First seen 2026-05-22 · Last seen 2026-10-27 · 47 mentions

Overview

MATH-500 是当前大模型推理评测中最常被引用的数学基准之一,从 500 道竞赛级数学题中抽样组成,被广泛用于衡量模型在正式回答前的多步推理能力。它本身不是模型或方法,而是一把尺子——研究者通过模型在 MATH-500 上的准确率,横向比较提示词技巧、蒸馏、剪枝、量化等不同路线的推理增益。近期多条 arXiv 论文与开源推文都以该基准作为核心验证集,围绕“如何以更低成本拿到更高准确率”展开竞争。

MATH-500 近期进展

  • 提示词层面的收益仍被低估。一篇 arXiv 论文显示,在基础模型前加一个特定起始 token,就能让它在 MATH-500 上的推理表现接近经过强化学习训练后的水平,说明部分能力可能一直被解码方式而非参数容量所限制(论文:特定起始 token 提示可让 base 模型接近 RL 训练后的推理表现)。论文推介账号也转述了这一发现,称“加一句前缀即可提升推理成绩”(原文标题)。
  • 蒸馏与压缩方向同样瞄准 MATH-500。OPPD 方法声称单次生成即可达到 power sampling 64 个候选的效果,降低了测试时扩展的算力门槛(OPPD 蒸馏法);另有 OPD 蒸馏让低比特量化模型恢复推理能力(OPD 蒸馏方法)。
  • 过程控制类研究开始细化到“从推理链哪一步重启更划算”,用量化方式评估扩展位置的选择收益(从推理链哪一步重启更划算)。同时,剪枝方案 OBC-Prune 与 CoBa 计算平衡路由,也都在 MATH-500 上验证了成本与精度的权衡(OBC-Prune、CoBa)。
  • 当前焦点与观察点

    一个明显趋势是:MATH-500 上的分数提升,正越来越多来自推理流程与训练/解码策略,而非单纯堆参数。提示前缀、蒸馏、量化恢复、剪枝与测试时扩展等路线,都在同一基准上给出可比数字。

    争议也随之而来。500 题的样本量和题目构成,是否足以支撑“推理能力”的泛化结论,仍受质疑;此外,不同论文在采样次数、是否使用外部工具、评测协议上的差异,使跨论文对比需要谨慎。对读者而言,看到 MATH-500 数字时,更该关注它背后的算力预算与评测条件,而非单看一个百分点。

    Coverage

    10 on file
    MATH-500 · AI 话题观测|AI热报