精选理由
人形机器人操作新方法ROVE，用强化学习从糟糕的人类演示中挑出好动作，真实任务效果比基线好。
ROVE 是一个用于人形机器人视觉-语言-动作（VLA）模型后训练的强化学习框架，能够应对不完美的人类干预数据。它引入人类在环流水线收集部署与干预数据，并使用乐观价值估计（OVE）从混合质量轨迹中筛选高价值行为。ROVE 还利用跨实体人类经验视频为长尾失败与恢复模式提供丰富监督，引导 VLA 聚焦于高价值行为。在真实世界的接触丰富且精细的人形操作任务中，ROVE 超越了经验学习基线，并在多轮部署-干预迭代中持续提升。
AI 翻译 · 中文
ROVE 是一个用于人形机器人视觉-语言-动作（VLA）模型后训练的强化学习框架，能够应对不完美的人类干预数据。它引入人类在环流水线收集部署与干预数据，并使用乐观价值估计（OVE）从混合质量轨迹中筛选高价值行为。ROVE 还利用跨实体人类经验视频为长尾失败与恢复模式提供丰富监督，引导 VLA 聚焦于高价值行为。在真实世界的接触丰富且精细的人形操作任务中，ROVE 超越了经验学习基线，并在多轮部署-干预迭代中持续提升。
Human interventions provide crucial corrective signals for post-training Vision-Language-Action (VLA) models. However, enabling seamless humanoid interventions is a formidable systems challenge due to complex whole-body …