浙大论文：决策模型自身做不好任务，也能当步级评分器训练更强的智能体

浙江大学的新论文提出了一个反直觉结论：一个自己执行任务很差的 AI 模型，仍能通过事后复盘把另一个模型训练得更好。决策模型 JEV 在 ALFWorld 上自己只能完成 42.9% 的模拟家务任务，但作为评分器使用时，能把 Qwen2.5-1.5B 策略的成功率从 GRPO 结果奖励下的 72.8% 提升到 82.9%。 技术机制在于解决 Agent RL 的信用分配问题：传统方法只奖励最终结果，每个动作拿到相同的信用；而逐步打分通常需要逐环境的标签或每一步调用 LLM 裁判。论文的方案是让决策模型（返回选项概率分布而非文本）看完整个运行记录后，对每个动作是否有助于任务完成逐一打分，分数再注入 GRPO 训练。 研究在 ALFWorld 和 WebShop 两个基准上验证了决策模型作为执行者和评分者的双重角色。对开发者的实操建议是：挑选步级评分器时看它评判已录制的运行轨迹的能力，而不是它自己的执行能力，并且评分要针对单个动作而非最终结果。