13:11arXiv cs.AI@Raymond Tsao, Andrew Wagenmaker, Sergey Levine该论文提出通过成功访问匹配(Success Visitation Matching)将稀疏的结果奖励(0/1)转化为密集的过程奖励。方法训练一个判别器来区分成功和失败的轨迹,并激励RL策略匹配成功轨迹的状态-动作访问。理论证明该方法不改变最优策略。在机器人控制策略微调中,模拟和真实操作任务上的收敛速度均显著快于直接使用稀疏奖励的基线。论文RL稀疏奖励过程奖励机器人控制推荐理由:这篇论文把稀疏奖励变密集,让RL学得快。机器人实验证明比原来快很多,实用性强。原文
10:05arXiv cs.LG@Hyun Joe Jeong, Gokul Swamy, Andrea Bajcsy精选该研究提出一种框架,通过交互式搜索语言序列来提升视觉-语言-动作(VLA)模型的闭环任务性能,并蒸馏为测试时的语言反馈策略(LFP)。同时学习一个改进头,预测何时语言引导能提升性能,并通过保形化处理防止有害干预。该方法适用于任意冻结的预训练VLA模型,无需访问原始训练数据或微调。在模拟和硬件实验中,该策略分别将基础VLA性能提升24.7%和65.0%,且在视觉和语义扰动下具有强无害性保证。论文VLA模型语言引导机器人控制保形预测安全干预推荐理由:机器人开发者终于有了一个无需重新训练就能安全引导VLA模型的方法——通过语言反馈策略提升任务成功率,同时避免有害行为。做机器人控制或人机交互的团队可以直接在现有模型上尝试,值得关注。原文