Chinese contentROAM-GRPO:通过离模式策略挖掘提升 GRPO 推理多样性
做推理模型 RL 后训练的人可以看看这篇。它给 GRPO 加了个离模式挖掘机制,专治 SFT+RLVR 后输出千篇一律、pass@k 不涨的问题。在 MATH lvl5 上用 Qwen3.5-2b 验证,pass@16 提了 4.7%,多样性指标翻倍,方法可直接复现。
做推理模型 RL 后训练的人可以看看这篇。它给 GRPO 加了个离模式挖掘机制,专治 SFT+RLVR 后输出千篇一律、pass@k 不涨的问题。在 MATH lvl5 上用 Qwen3.5-2b 验证,pass@16 提了 4.7%,多样性指标翻倍,方法可直接复现。