机器人学习相关 AI 资讯

8月14日

02:34

02:34官方一手Hugging Face: Blog（博客/媒体）

精选

Hugging Face联合亚马逊推出Strands Agents，结合LeRobot与Hugging Face Storage Buckets，为机器人数据循环提供统一工作流。该方案支持从数据记录、模型训练到部署的全流程管理。用户可在同一环境中完成机器人操作数据的采集与存储。LeRobot负责训练行为克隆等策略。Strands Agents则用于部署和推理。

技巧 LeRobot Strands Agents Hugging Face

事件专题

推荐理由：想搞机器人数据闭环的可以看看，Hugging Face和亚马逊把记录、训练、部署全串在一起了，不用再东拼西凑工具。

原文

8月12日

04:03

AI Will@FinanceYF5

一项新研究首次证明，模型从未在机器人轨迹上训练，却能通过人类数据提升机器人任务表现。研究显示，人类数据量越大，模型在未见过的机器人任务上表现越好。这证实了跨越“具身鸿沟”的缩放定律存在。该发现为机器人学习提供了新路径，减少对机器人数据采集的依赖。

论文具身智能缩放定律机器人学习

推荐理由：这篇讲的是用人类数据直接训练机器人，不用机器人轨迹数据也能变强，跨具身缩放定律首次被证明，值得搞机器人的朋友看看。

原文

8月10日

16:40

官方一手Pandaily@contact@pandaily.com (Pandaily)

精选

X Square Robot 开源了推理时学习框架 HOST。该框架让人形机器人观看 29 秒人类演示，以 62% 成功率复现技能。HOST 将具身 AI 从离线微调转向即时模仿。

AI模型 HOST X Square Robot 具身智能

推荐理由：X Square Robot 开源了 HOST，机器人看 29 秒演示就能学，成功率 62%。和传统微调不一样，它当场模仿。

原文

8月3日

11:56

11:56IT之家（博客/媒体）

72°

自变量机器人发布并开源HOST框架，让机器人仅观察29秒人类视频即可学习新技能，成功率达62%，超过零样本基线45%。相比Pi-0.5加微调方案，HOST所需数据量减少50倍，学习速度提升500倍。HOST采用双专家MoT架构，将视觉预测与动作生成分离，并通过动态时间规整按任务进度对齐人类视频与机器人操作。研究论文和代码已全部开源。

AI模型 HOST 自变量机器人机器人学习

推荐理由：自变量开源了HOST框架，机器人看一段几十秒的人类视频就能学新技能，成功率62%，比微调方案省50倍数据。

原文

7月30日

10:35

官方账号arXiv cs.AI@Gabe Everett, Brice Gunter, Ryan Vander Stelt, Cleiver Ruiz-Martinez, Blake Hull, Juan Rojas

SymmGrid是一个基于对称树的轨迹级增强框架，通过并行化不变变换生成几何网格结构。在自我中心与外部中心视觉设置下，使用单应性变换处理视觉场景。在真实机器人操作任务（插销插入、线缆布线、物体搬运）中，训练收敛速度提升1.37-2.17倍，成功率提升1.09-1.27倍，最快收敛时间分别为16.6、10.9、79.3分钟。轨迹级评估的nAUC指标提升达2.59倍。

论文 SymmGrid 机器人学习对称性

推荐理由：SymmGrid用对称性把机器人训练时间压缩到十几分钟，插销这类任务成功率还涨了，挺实用的新方法。

原文

10:16

官方账号arXiv cs.AI@Jia Luo

Pegasus提出基于图结构的知识转移框架，通过Task Graph从人类操作视频中提取信息，再经Affordance和Constraint Graphs转化为Robot Planning Graph，用于机器人条件视频生成。该框架在GTEA Gaze+和EPIC-KITCHENS-100等基准上评估了Task Correctness、Executability、State Consistency和Learnability，实现了可靠的跨形态翻译。Pegasus将机器人数据生成从硬件采集问题重新定义为可扩展的低资源知识转移问题。

AI模型 Pegasus 具身智能知识转移

推荐理由：Pegasus用图结构把人类视频变成机器人能学的数据，不用砸钱搞硬件采集了，跨形态效果不错。

原文

03:32

a16z@a16z

李飞飞指出，模拟可以生成真实世界无法或难以发生的事件，让机器人在其中学习行动。她以Waymo为例，官方称使用了数十亿小时的模拟数据训练自动驾驶。她认为汽车是最简单的机器人，模拟在机器人学习中扮演巨大角色。World Labs也在构建用于训练机器人的虚拟世界。

行业 Fei-Fei Li Waymo World Labs

事件专题

推荐理由：李飞飞用Waymo的例子说清楚了模拟怎么帮助机器人学习，比攒真实数据更高效。想了解机器人训练前沿的可以看。

原文

7月16日

05:46

官方账号Fei-Fei Li@drfeifei

精选

Stanford SVL与NVIDIA Robotics联合提出RoboTTT，基于测试时训练（TTT）方法，将机器人模型原生扩展到8000时间步的上下文（约5分钟肌肉记忆），推理成本恒定。相比以往机器人策略仅能处理数帧（<0.1秒），该方法将上下文长度提升3个数量级。在电路板组装任务中，RoboTTT通过一次人类视频演示即可实现零样本模仿学习。实验显示，8K上下文预训练性能比1K高出62%，且从128到8K时间步的闭合环路性能持续提升无饱和迹象。

AI模型 RoboTTT Stanford SVL NVIDIA

事件专题

推荐理由：斯坦福和英伟达搞了个新方法RoboTTT，能让机器人记住5分钟内的动作历史，一次看人演示就能模仿，还能自己纠错。上下文越长效果越好，8K比1K强62%。

原文

7月3日

11:33

官方账号arXiv cs.AI@Junhao Shi, Siyin Wang, Xiaopeng Yu, Li Ji, Jingjing Gong, Xipeng Qiu

VLA模型受限于专家演示数据稀缺，这些数据需要观测、指令和动作的三元组，成本高昂。研究提出分解假设，将物理能力（如何移动）与语义对齐（做什么）解耦。基于此设计了TAP框架，先通过自监督逆动力学从无标签交互数据学习运动先验，再用少量专家数据将先验与语言对齐。在SIMPLER基准上，TAP匹配使用超过100万专家轨迹的模型，实现了10%的绝对提升。真实WidowX机器人平台测试中，TAP在相机扰动下保持25%成功率，而互联网规模基线降至0%。

论文 VLA TAP SIMPLER

推荐理由：这篇论文用无标签数据先学移动再学做事，SIMPLER上提升10%，真实机器人也抗干扰，思路很实用。

原文

6月16日

12:27

官方账号arXiv cs.LG@Tongyan Fang, Siyuan Huang, Naiyu Fang, Ganlong Zhao, Zhongjin Luo, Jianbo Liu, Xiaogang Wang, Ying Dong, Hongsheng Li

针对VLA策略在线RL微调中每个回合仅产生二元结果（成功/失败）的问题，现有方法将稀疏结果简化为单一标量优势，混淆了可行性与效率两类目标。本文提出分层优势加权行为克隆（HABC），训练两个独立critic头分别优化这两类目标，并通过状态自适应门（gt）合并其输出。在三个接触丰富的双手机器人任务上，HABC将监督微调（SFT）基线36%、44%、12%的成功率分别提升至92%、88%、38%。

论文 HABC VLA 机器人学习

推荐理由：HABC方法解决了VLA在线RL微调中稀疏结果的问题，在双手机器人任务上成功率从12-44%提升到38-92%。

原文

6月10日

09:33

官方账号arXiv cs.LG@Artur Kuramshin, Özgür Aslan, Cyrus Neary, Glen Berseth

精选

机器人学习中的大规模策略在操作任务上表现优异，但指令跟随能力不足，主要原因是现有数据集缺乏语言和动作序列多样性。TREAD提出一种可扩展框架，利用大型视觉语言模型（VLM）对现有机器人数据集进行重标注，无需额外数据采集。该方法通过三个步骤：从原始指令生成语义子任务、基于子任务分割演示视频、生成包含物体属性的多样化指令，将长演示分解为语言-动作对。实验表明，在LIBERO基准上，使用TREAD增强数据训练的策略在未见任务和目标上表现更好，提升了规划泛化和语言条件策略泛化能力。

论文机器人学习数据增强 VLM

推荐理由：做机器人数据增强和指令跟随的团队，TREAD用VLM低成本提升数据集质量，直接增强策略泛化，值得在LIBERO等基准上试试。

原文

6月2日

11:16

官方账号arXiv cs.LG@Eduardo Sebastián, Adrian Pfisterer, Vito Mengers, Oliver Brock, Amanda Prorok

这篇论文提出了一种新的机器人学习框架，通过将策略分解为“世界因子”和“任务因子”来实现结构泛化。世界因子描述机器人和环境的固有属性，独立于任务意图；任务因子则定义任务逻辑。作者利用贝叶斯模型证据形式化了这种不对称性，并实例化为AICON图与学习策略的组合，梯度作为两个因子的接口。实验表明，该方法在异构机器人、环境和任务中优于端到端基线，能零样本泛化到分布外配置，并直接迁移到真实硬件。

论文机器人学习泛化世界模型

推荐理由：机器人学习领域长期面临泛化难题，这篇论文从结构分解入手给出了新解法。做机器人策略研究或部署的团队值得关注，零样本迁移到真实硬件意味着可以直接减少重复训练成本。

原文