Agon: 竞争性跨模型强化学习的隐式对手评分推理

Agon: Competitive Cross-Model RL with Implicit Rival Grading of Reasoning

精选理由

Agon让两个模型互相打分比赛,推理能力直接翻倍,比GRPO强一倍,而且完全不需要人工标注过程标签。

AI 摘要

Agon是一种竞争性跨模型强化学习方法,两个模型互为评分器,无需过程标签或奖励模型。在DeepMath硬数据集中使用Qwen3基准,Agon的pass@1达到GRPO的两倍。该方法通过交替角色训练,使模型逐步面对更强的对手。在Qwen3.5和Gemma 4等模型家族的编程代码任务上也验证了有效性。

AI 翻译 · 中文

Agon是一种竞争性跨模型强化学习方法,两个模型互为评分器,无需过程标签或奖励模型。在DeepMath硬数据集中使用Qwen3基准,Agon的pass@1达到GRPO的两倍。该方法通过交替角色训练,使模型逐步面对更强的对手。在Qwen3.5和Gemma 4等模型家族的编程代码任务上也验证了有效性。

arXiv cs.LGReinforcement learning from verifiable rewards (e.g. GRPO) is the engine behind today's reasoning models, yet it grades only the final answer. On hard problems this trains models to write more rather than to think better