机器人学习相关 AI 资讯 · AI 热点

7月3日

11:33

11:33

官方账号arXiv cs.AI@Junhao Shi, Siyin Wang, Xiaopeng Yu, Li Ji, Jingjing Gong, Xipeng Qiu

VLA模型受限于专家演示数据稀缺，这些数据需要观测、指令和动作的三元组，成本高昂。研究提出分解假设，将物理能力（如何移动）与语义对齐（做什么）解耦。基于此设计了TAP框架，先通过自监督逆动力学从无标签交互数据学习运动先验，再用少量专家数据将先验与语言对齐。在SIMPLER基准上，TAP匹配使用超过100万专家轨迹的模型，实现了10%的绝对提升。真实WidowX机器人平台测试中，TAP在相机扰动下保持25%成功率，而互联网规模基线降至0%。

论文 VLA TAP SIMPLER WidowX 机器人学习预训练

推荐理由：这篇论文用无标签数据先学移动再学做事，SIMPLER上提升10%，真实机器人也抗干扰，思路很实用。

6月16日

12:27

12:27

官方账号arXiv cs.LG@Tongyan Fang, Siyuan Huang, Naiyu Fang, Ganlong Zhao, Zhongjin Luo, Jianbo Liu, Xiaogang Wang, Ying Dong, Hongsheng Li

针对VLA策略在线RL微调中每个回合仅产生二元结果（成功/失败）的问题，现有方法将稀疏结果简化为单一标量优势，混淆了可行性与效率两类目标。本文提出分层优势加权行为克隆（HABC），训练两个独立critic头分别优化这两类目标，并通过状态自适应门（gt）合并其输出。在三个接触丰富的双手机器人任务上，HABC将监督微调（SFT）基线36%、44%、12%的成功率分别提升至92%、88%、38%。

论文 HABC VLA 机器人学习在线强化学习

推荐理由：HABC方法解决了VLA在线RL微调中稀疏结果的问题，在双手机器人任务上成功率从12-44%提升到38-92%。

6月10日

09:33

09:33

官方账号arXiv cs.LG@Artur Kuramshin, Özgür Aslan, Cyrus Neary, Glen Berseth

精选

机器人学习中的大规模策略在操作任务上表现优异，但指令跟随能力不足，主要原因是现有数据集缺乏语言和动作序列多样性。TREAD提出一种可扩展框架，利用大型视觉语言模型（VLM）对现有机器人数据集进行重标注，无需额外数据采集。该方法通过三个步骤：从原始指令生成语义子任务、基于子任务分割演示视频、生成包含物体属性的多样化指令，将长演示分解为语言-动作对。实验表明，在LIBERO基准上，使用TREAD增强数据训练的策略在未见任务和目标上表现更好，提升了规划泛化和语言条件策略泛化能力。

论文机器人学习数据增强 VLM 指令跟随泛化

推荐理由：做机器人数据增强和指令跟随的团队，TREAD用VLM低成本提升数据集质量，直接增强策略泛化，值得在LIBERO等基准上试试。

6月2日

11:16

11:16

官方账号arXiv cs.LG@Eduardo Sebastián, Adrian Pfisterer, Vito Mengers, Oliver Brock, Amanda Prorok

这篇论文提出了一种新的机器人学习框架，通过将策略分解为“世界因子”和“任务因子”来实现结构泛化。世界因子描述机器人和环境的固有属性，独立于任务意图；任务因子则定义任务逻辑。作者利用贝叶斯模型证据形式化了这种不对称性，并实例化为AICON图与学习策略的组合，梯度作为两个因子的接口。实验表明，该方法在异构机器人、环境和任务中优于端到端基线，能零样本泛化到分布外配置，并直接迁移到真实硬件。

论文机器人学习泛化世界模型任务分解零样本迁移

推荐理由：机器人学习领域长期面临泛化难题，这篇论文从结构分解入手给出了新解法。做机器人策略研究或部署的团队值得关注，零样本迁移到真实硬件意味着可以直接减少重复训练成本。