09:54
官方账号arXiv cs.LG@Vladislav Beliaev
精选
推荐理由：这篇论文解决了GRPO训练时难问题学不到东西的痛点，用自适应前缀让模型在数学推理上准确率翻倍，而且模型越小效果越明显，值得做强化学习的人看看。
AdaPrefix-GRPO
共 1 条相关 AI 资讯
7月9日
09:54
AdaPrefix-GRPO针对GRPO在困难问题上梯度消失的问题，提出自适应调整正确前缀长度的机制。方法通过反馈控制器将问题的成功率维持在50%附近以最大化梯度信号，训练后完全移除前缀。在0.6B模型上，该方法在保留训练分布的难题上将准确率提升2.1倍；在Qwen3-1.7B上提升1.6倍，在AIME基准上提升1.7倍，同时将追踪长度减半。模型越小，增益越大。