精选理由
这篇论文说，RL后训练时顺便就能得到一个免费的好信号，不用再费劲训练奖励模型，在好几个测试里都比专门训练的效果还好。做智能体训练的一定得看看。
本文提出进度优势（Progress Advantage），通过计算RL后训练策略与参考策略的对数概率比，隐式获得智能体步骤级评分，无需额外训练奖励模型。该方法在五个基准（包括MATH、HotpotQA等）和四个模型家族（Llama-2、Mistral等）上验证，在测试时扩展、不确定性量化、失败归因三项任务中均优于基于置信度的基线。尽管无需任务特定训练，它仍超越专用奖励模型。论文还分析了进度优势的特征，为实际智能体系统提供使用指导。
AI 翻译 · 中文
本文提出进度优势（Progress Advantage），通过计算RL后训练策略与参考策略的对数概率比，隐式获得智能体步骤级评分，无需额外训练奖励模型。该方法在五个基准（包括MATH、HotpotQA等）和四个模型家族（Llama-2、Mistral等）上验证，在测试时扩展、不确定性量化、失败归因三项任务中均优于基于置信度的基线。尽管无需任务特定训练，它仍超越专用奖励模型。论文还分析了进度优势的特征，为实际智能体系统提供使用指导。
Process reward models enable fine-grained, step-level evaluation of LLMs, yet building them for agentic settings remains prohibitively difficult: long-horizon interactions, irreversible actions, and stochastic environmen…