GSM8K 是一个面向小学数学应用题的基准数据集，包含约 8500 道需要多步推理的题目，长期被用作衡量大语言模型数学推理能力的标准评测之一。它与 MATH、AIME 等更难的基准相比难度较低，但因其题目结构清晰、答案可自动验证，仍是新模型发布和推理方法研究中最常引用的评测项之一。
GSM8K 相关的近期研究进展
近期围绕 GSM8K 所代表的数学推理能力，研究热点已从"能不能做对"转向"如何更快、更便宜地做对"。一条主线是解码加速：AMTP 提出自适应多 token 预测，将 Llama-3.1 的解码速度提升至 4.1 倍；ProVe 则让模型先生成草案再自行验证，在保持质量的同时将解码提速 2.5 倍。这类工作通常以 GSM8K 等数学题集作为效率与准确率的对照场景，反映出入门级数学题已不再是能力瓶颈，而是效率优化的试验场。
另一条主线是扩散语言模型的崛起。扩散路径上出现了多项工作：一项研究用 856K 参数的解掩码策略提升 LLaDA-8B 的推理效率；LAW 提出纯 Self-Conditioning 的生成路线；H-CDLM 则用分层联合扩散框架改进连续扩散语言模型。这些模型在报告效果时，GSM8K 常作为与自回归模型对齐的基准点之一，其上的表现被用来判断扩散路线是否真正具备推理竞争力。
在训练与推理策略侧，OPPD 蒸馏方法声称让模型单次生成即可达到 power sampling 64 候选的效果，GraphEvoResearcher 借助图结构自反思推理将多跳问答准确率推高至最高 98%，而固定推理预算下的停止策略研究则探讨如何在有限算力内交付答案。这些方法的评测大多覆盖 GSM8K 类多步数学题。
当前焦点与观察点
对 GSM8K 本身而言，当前的争议在于其区分度正在下降：主流大模型在该数据集上的准确率普遍接近饱和，研究者越来越多地转向 MATH、AIME、Omni-MATH 等更难的基准，或转向评测推理效率而非单纯准确率。但对扩散语言模型、小型模型和蒸馏方法来说，GSM8K 仍是快速验证推理能力的基础门槛。
值得观察的是，随着推理型模型（如采用思维链和强化学习训练的模型）普及，GSM8K 上的成绩已难以区分顶尖模型，未来它可能更多作为消融实验和效率研究的对照组存在，而非模型能力排序的核心依据。工程侧，如 Amazon SageMaker 推出的 training session API 降低了自定义训练循环的门槛，也意味着研究者可以更方便地在 GSM8K 这类数据集上复现和微调推理能力。