13:11arXiv cs.AI@Raymond Tsao, Andrew Wagenmaker, Sergey Levine该论文提出通过成功访问匹配(Success Visitation Matching)将稀疏的结果奖励(0/1)转化为密集的过程奖励。方法训练一个判别器来区分成功和失败的轨迹,并激励RL策略匹配成功轨迹的状态-动作访问。理论证明该方法不改变最优策略。在机器人控制策略微调中,模拟和真实操作任务上的收敛速度均显著快于直接使用稀疏奖励的基线。论文RL稀疏奖励过程奖励机器人控制推荐理由:这篇论文把稀疏奖励变密集,让RL学得快。机器人实验证明比原来快很多,实用性强。原文
12:42arXiv cs.AI@Xucong Wang, Ziyu Ma, Shidong Yang, Tongwen Huang, Pengkun Wang, Yong Wang, Xiangxiang Chu精选Role-Agent 是一种让单个 LLM 同时扮演智能体和环境的框架,通过自举式协同进化提升性能。它包含两个核心组件:World-In-Agent(WIA)让模型在每次行动后预测未来状态,利用预测与实际状态的对齐作为过程奖励,促进环境感知推理;Agent-In-World(AIW)则分析失败轨迹中的模式,并检索具有相似失败模式的任务,重新调整训练数据分布进行针对性练习。在多个基准测试中,Role-Agent 平均提升超过 4%,解决了传统智能体学习依赖低效交互反馈和静态训练环境的问题。论文LLM智能体自举学习过程奖励双角色演进arXiv论文推荐理由:做 LLM 智能体训练的团队终于有了一个无需外部环境反馈的自我进化方案——Role-Agent 让模型自己当裁判和教练,平均提效 4%+,值得在复杂任务场景中试试。原文