MATH-500 是当前大模型推理评测中最常被引用的数学基准之一,从 500 道竞赛级数学题中抽样组成,被广泛用于衡量模型在正式回答前的多步推理能力。它本身不是模型或方法,而是一把尺子——研究者通过模型在 MATH-500 上的准确率,横向比较提示词技巧、蒸馏、剪枝、量化等不同路线的推理增益。近期多条 arXiv 论文与开源推文都以该基准作为核心验证集,围绕“如何以更低成本拿到更高准确率”展开竞争。
MATH-500 近期进展
当前焦点与观察点
一个明显趋势是:MATH-500 上的分数提升,正越来越多来自推理流程与训练/解码策略,而非单纯堆参数。提示前缀、蒸馏、量化恢复、剪枝与测试时扩展等路线,都在同一基准上给出可比数字。
争议也随之而来。500 题的样本量和题目构成,是否足以支撑“推理能力”的泛化结论,仍受质疑;此外,不同论文在采样次数、是否使用外部工具、评测协议上的差异,使跨论文对比需要谨慎。对读者而言,看到 MATH-500 数字时,更该关注它背后的算力预算与评测条件,而非单看一个百分点。