精选理由
这项研究为无需 RL 训练即可提升模型推理能力提供了实用采样方法，做推理模型优化或采样策略的开发者可以直接尝试 Entropy-Cut MH，它比均匀截断更高效。
前沿推理模型通常通过强化学习后训练得到。近期研究挑战了这一范式，表明从基础模型的幂分布中采样即可获得可比推理能力，无需额外训练。但高效采样是关键挑战。本文提出 Entropy-Cut Metropolis-Hastings 算法，利用模型下一 token 的熵作为代理，识别推理轨迹中的关键决策点（如证明策略或算法选择），并仅从这些位置重新采样，而非均匀随机截断。理论证明该方法混合时间与决策点数量成正比，而非 token 数量。在 MATH500、HumanEval、GPQA Diamond 和 AIME26 基准上，该方法一致优于基线及强化学习训练模型。
AI 翻译 · 中文
前沿推理模型通常通过强化学习后训练得到。近期研究挑战了这一范式，表明从基础模型的幂分布中采样即可获得可比推理能力，无需额外训练。但高效采样是关键挑战。本文提出 Entropy-Cut Metropolis-Hastings 算法，利用模型下一 token 的熵作为代理，识别推理轨迹中的关键决策点（如证明策略或算法选择），并仅从这些位置重新采样，而非均匀随机截断。理论证明该方法混合时间与决策点数量成正比，而非 token 数量。在 MATH500、HumanEval、GPQA Diamond 和 AIME26 基准上，该方法一致优于基线及强化学习训练模型。
Frontier reasoning models are produced by posttraining base language models with reinforcement learning. Recent work has challenged this by showing that sampling from a sharpened version of the base model's distribution,…