13:11arXiv cs.AI@Raymond Tsao, Andrew Wagenmaker, Sergey Levine该论文提出通过成功访问匹配(Success Visitation Matching)将稀疏的结果奖励(0/1)转化为密集的过程奖励。方法训练一个判别器来区分成功和失败的轨迹,并激励RL策略匹配成功轨迹的状态-动作访问。理论证明该方法不改变最优策略。在机器人控制策略微调中,模拟和真实操作任务上的收敛速度均显著快于直接使用稀疏奖励的基线。论文RL稀疏奖励过程奖励机器人控制推荐理由:这篇论文把稀疏奖励变密集,让RL学得快。机器人实验证明比原来快很多,实用性强。原文
12:26arXiv: Google DeepMind@Shaojun Xu, Xiaoling Zhou, Yihan Lin, Yapeng Meng, Xinglong Ji, Luping Shi, Rong Zhao精选Mind Dreamer 提出一种名为主动潜变量干预(ALI)的框架,解决基于模型的强化学习中“历史束缚”问题——传统方法只能从观测状态开始想象,导致策略优化滞后于世界模型学习。它通过对抗生成器合成非连续的潜变量跳跃,探索物理可行但认知困难的盲点,并推导出中继价值函数和中继不确定性函数来分配跨空间断裂的信用。理论证明不确定性传播需要二次折扣,建立了形式化的认知视界。在DeepMind Control Suite上,Mind Dreamer 平均比 DreamerV3 快1.67倍,在稀疏奖励任务中加速达8.8倍。论文强化学习基于模型的强化学习稀疏奖励潜变量干预DreamerV3推荐理由:做强化学习稀疏奖励研究的团队终于有了突破历史束缚的新工具——Mind Dreamer 通过主动生成想象起点,大幅提升样本效率,建议跑过 DreamerV3 的开发者直接试。原文