12:20arXiv cs.LG@Violet Xiang, Amrith Setlur, Chase Blagden, Nick Haber, Aviral KumarExpRL提出一种自动化方法,通过基于强化学习的中间训练来提升LLM推理能力。该方法不直接模仿参考解决方案,而是将其作为奖励支架,利用LLM裁判对比策略生成的推理轨迹与参考解,给出稠密奖励。在具有挑战性的数学推理任务上,ExpRL相比SFT、稀疏奖励GRPO和自蒸馏方法,能提供更强的RL初始化和更好的最终性能。此外,混合领域实验表明ExpRL可扩展至数学以外的场景。论文ExpRLLLM强化学习推理模型数学推理推荐理由:这篇论文用参考答案做奖励支架,让模型自己探索推理路径,数学推理效果超过了SFT和GRPO,想提升推理能力的可以看看。原文