11:41
官方账号arXiv cs.AI@Shiyuan Feng, Huan-ang Gao, Haohan Chi, Hanlin Wu, Zhilong Zhang, Zheng Jiang, Bingxiang He, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou
推荐理由：用弱模型训练强模型，Qwen3-1.7B在AIME 2024从48.3%飙到62.4%，只花4小时8卡A100。比直接RL还省，值得试试。
Direct-OPD
共 1 条相关 AI 资讯
7月7日
11:41
RLVR通过可验证奖励提升推理能力，但每次训练强模型需要大量采样，成本高昂。Direct-OPD方案在小模型上执行RL，将其策略偏移作为隐式奖励传递给强模型。对比后RL教师与前RL参考的对数比率，为学生模型提供密集监督。实验显示，Direct-OPD将Qwen3-1.7B在AIME 2024上的准确率从48.3%提升至62.4%，仅需8块A100 GPU训练4小时。该方法优于step-matched直接RL，并支持多策略偏移的级联组合。