机器人学习

general · First seen 2026-06-02 · Last seen 2026-11-19 · 58 mentions

Overview

机器人学习是指机器人通过模仿学习、强化学习等机器学习方法获取感知与操作能力的技术方向,被视为连接大模型与物理世界的关键路径。近期研究呈现明显的两条主线:一是借助视觉语言模型(VLM)降低数据采集与奖励设计的成本,二是通过多机器人协同与跨具身迁移提升真实场景下的泛化能力。

机器人学习近期进展

  • GUILD:用视觉语言模型引导机器人模仿学习的数据采集:VLM 正在被用于指导数据采集环节,让模仿学习所需的人类演示更具针对性,减少盲目采集的开销。
  • D&A 提示框架让 VLM 成为零样本机器人奖励模型:无需针对性训练,VLM 可作为奖励模型为强化学习打分,是“用基础模型替代人工奖励设计”的典型尝试。
  • JADE 让 VLM 与扩散动作专家联合去噪,提升机器人动作生成:将语言理解与扩散式动作生成在去噪过程中耦合,反映动作生成模型与 VLM 深度融合的趋势。
  • 清华大学、无问芯穹与智元合作训练 96 台真实机器人共享学习经验:96 台真机共享经验训练,显示国内团队正把协同学习从仿真推向真实机器人集群。
  • Stanford 提出 DexAgent:一条人类视频训练机器人灵巧操作:Pixel-UMI:从人类演示数据学习环境感知的全身操控策略,两者都指向“用低成本人类视频/演示替代昂贵真机数据”的路线。
  • 当前焦点与观察点

    当前机器人学习的争议集中在三处。其一是数据的性价比:人类视频和演示能否替代大规模真机采集,尚缺乏一致性结论;其二是测试时计算的价值,实证审计:Cosmos Policy 上测试时搜索何时有效 表明推理期搜索并非普遍增益,需要明确适用边界。其三是安全与隐私,Federated VLA 适配的安全问题:人类纠正数据如何跨机器人共享 提醒多机器人共享纠正数据时存在泄露风险。

    评测方法也是短板。Sensorimotor Alignment:衡量具身模型能力的新型离线指标 反映业界对离线评估能否预测真实表现的关注。未来值得观察:VLM 作为奖励模型与数据采集器能否形成标准化流程,以及多机器人经验共享在真实部署中的规模上限。

    Coverage

    10 on file