精选理由
这篇论文解决了GRPO训练时难问题学不到东西的痛点，用自适应前缀让模型在数学推理上准确率翻倍，而且模型越小效果越明显，值得做强化学习的人看看。
AdaPrefix-GRPO针对GRPO在困难问题上梯度消失的问题，提出自适应调整正确前缀长度的机制。方法通过反馈控制器将问题的成功率维持在50%附近以最大化梯度信号，训练后完全移除前缀。在0.6B模型上，该方法在保留训练分布的难题上将准确率提升2.1倍；在Qwen3-1.7B上提升1.6倍，在AIME基准上提升1.7倍，同时将追踪长度减半。模型越小，增益越大。
AI 翻译 · 中文
AdaPrefix-GRPO针对GRPO在困难问题上梯度消失的问题，提出自适应调整正确前缀长度的机制。方法通过反馈控制器将问题的成功率维持在50%附近以最大化梯度信号，训练后完全移除前缀。在0.6B模型上，该方法在保留训练分布的难题上将准确率提升2.1倍；在Qwen3-1.7B上提升1.6倍，在AIME基准上提升1.7倍，同时将追踪长度减半。模型越小，增益越大。
Group Relative Policy Optimization (GRPO) stalls on a model's hardest problems: when no rollout in a group succeeds, the group-relative advantages vanish and the problem contributes no gradient, wasting the frontier exam…