视觉-语言-动作模型相关 AI 资讯

7月7日

11:42

官方账号arXiv cs.AI@Wenhao Li, Xueying Jiang, Quanhao Qian, Deli Zhao, Shijian Lu, Gongjie Zhang, Ran Xu

CamVLA（Camera-Centric VLA）是一种新的视觉-语言-动作模型，通过预测相机坐标系中的末端执行器动作和6-DoF手眼矩阵，解耦了操作控制与相机几何。该方法无需相机外参标定、深度信息或立体视觉，仅需单目RGB图像即可适应任意视角变化。在模拟和真实机器人数据上的评估显示，CamVLA在多种未见过的视角下持续提高了任务成功率。

推荐理由：阿里DAMO Academy开源的CamVLA，机器人不用提前知道相机位置也能适应视角变化，单张RGB图像搞定，部署更灵活。

原文

6月30日

16:24

Stanford AI Lab@StanfordAILab

斯坦福AI实验室发布R&B-EnCoRe方法，这是一个视觉-语言-动作模型，能自主识别哪些思维链（chain-of-thought）有助于实际行动。该方法无需奖励函数、验证器或人工标注，完全由模型自监督学习。实验表明，R&B-EnCoRe在机器人操作任务中比基线方法有显著提升，证明了自我引导的推理训练的有效性。

AI模型 R&B-EnCoRe Stanford 视觉-语言-动作模型机器人思维链

推荐理由：斯坦福搞了个新方法，让机器人自己学会想什么有用，不用人教也不用奖励，挺酷的。

原文

6月16日

12:28

官方账号arXiv cs.LG@Jisang Han, Seonghu Jeon, Jaewoo Jung, René Zurbrügg, Honggyu An, Tifanny Portela, Marco Hutter, Marc Pollefeys, Seungryong Kim, Sunghwan Hong

Geometric Action Model (GAM) 将预训练的几何基础模型 (GFM) 拆分为观测编码器和未来预测解码器两部分，在中间层插入因果未来预测模块，结合语言、本体感受和动作历史，预测未来潜在标记，再利用剩余 GFM 块进行特征传播与动作解码。在多个仿真和真实机器人操作基准上，GAM 的准确率、鲁棒性、速度和模型大小均优于当前基于基础模型尺度的基线方法，例如在 RoboMimic 和 ManiSkill2 任务中表现显著提升。

AI模型 GAM 几何基础模型机器人策略学习操作视觉-语言-动作模型

推荐理由：这篇论文提出了一种新思路：用几何基础模型直接做机器人操作策略，不依赖二维图像，效果更快更准更轻。

原文

6月2日

09:44

官方一手Pandaily@contact@pandaily.com (Pandaily)

精选

阿里巴巴通义千问团队正式推出Qwen-VLA，这是其首个面向具身智能的视觉-语言-动作模型，标志着阿里进入物理世界AI竞赛。该模型整合了视觉理解、语言推理和动作执行能力，旨在让机器人或智能体在真实环境中完成复杂任务。Qwen-VLA的发布意味着阿里在AI领域的布局从纯数字世界扩展到物理交互，与特斯拉、英伟达等公司形成竞争。此举可能加速具身智能在工业、服务等场景的落地。

AI模型具身智能视觉-语言-动作模型阿里千问 Qwen-VLA 机器人

推荐理由：阿里千问首次将大模型能力延伸到物理世界，做机器人或具身智能的开发者值得关注——Qwen-VLA可能降低机器人编程门槛，让AI直接驱动动作执行。

原文

5月29日

11:06

官方账号arXiv cs.AI@Chunru Lin, Hongxin Zhang, Fenghao Yu, Zhehuan Chen, Thomas L. Griffiths, Yejin Choi, David Held, Chuang Gan

RoboWits 是一个双手机器人基准测试，旨在系统评估机器人在意外条件下的认知推理、创造性工具使用和鲁棒性。研究团队提出了一个多智能体协作框架，自动生成包含几何、材料和装配推理的 30 个种子任务和 208 个变异任务。测试发现，预训练的视觉-语言-动作模型（VLA）在种子任务上表现尚可，但在变异任务上表现脆弱，无法应对需要推理和策略适应的操作场景。这表明当前机器人策略在创造性问题解决方面存在显著差距。

论文机器人基准测试认知推理视觉-语言-动作模型创造性问题解决

推荐理由：机器人研究者终于有了一个专门测试认知推理和意外应对的基准——RoboWits 揭示了 VLA 模型在变异任务上的脆弱性，做机器人操作和具身智能的团队值得关注这个评估框架。

原文