精选理由
这篇论文用参考答案做奖励支架，让模型自己探索推理路径，数学推理效果超过了SFT和GRPO，想提升推理能力的可以看看。
ExpRL提出一种自动化方法，通过基于强化学习的中间训练来提升LLM推理能力。该方法不直接模仿参考解决方案，而是将其作为奖励支架，利用LLM裁判对比策略生成的推理轨迹与参考解，给出稠密奖励。在具有挑战性的数学推理任务上，ExpRL相比SFT、稀疏奖励GRPO和自蒸馏方法，能提供更强的RL初始化和更好的最终性能。此外，混合领域实验表明ExpRL可扩展至数学以外的场景。
AI 翻译 · 中文
ExpRL提出一种自动化方法，通过基于强化学习的中间训练来提升LLM推理能力。该方法不直接模仿参考解决方案，而是将其作为奖励支架，利用LLM裁判对比策略生成的推理轨迹与参考解，给出稠密奖励。在具有挑战性的数学推理任务上，ExpRL相比SFT、稀疏奖励GRPO和自蒸馏方法，能提供更强的RL初始化和更好的最终性能。此外，混合领域实验表明ExpRL可扩展至数学以外的场景。
Sparse reward reinforcement learning (RL) has become a standard tool for improving LLM reasoning, but its success depends critically on the coverage present in the base model. In practice, models are often primed for RL …