Vision-Language-Action

general · First seen 2026-05-22 · Last seen 2026-11-18 · 113 mentions

Overview

Vision-Language-Action(VLA,视觉-语言-动作)模型是一类将视觉感知、语言理解与机器人动作生成统一在同一模型中的端到端控制架构,被视为具身智能从实验室走向实际操作的核心技术路线。它通常以视觉语言模型为底座,直接输出机器人关节或末端执行器的动作指令,近年已成为机器人学习领域最活跃的研究方向之一。

VLA 模型近期进展

近几个月的研究集中在提升 VLA 模型的鲁棒性、记忆能力与安全协作性。

  • 改写指令再执行:提升 VLA 模型语言鲁棒性的免训练方法提出在执行前对用户指令进行改写,使模型对模糊或口语化表达更稳定,且无需重新训练。
  • MemBodied:用固定大小情景记忆提升 VLA 模型的历史依赖任务表现引入固定大小的情景记忆模块,改善需要多步历史信息的任务表现。
  • VLA-Dreamer:用世界模型改进 VLA 机器人控制尝试将世界模型与 VLA 结合,让机器人能在想象中预演动作后果。
  • Federated VLA 适配的安全问题:人类纠正数据如何跨机器人共享关注联邦式适配中的隐私与安全:跨机器共享人类纠正数据可能泄露敏感信息。
  • 人机协作方向也有进展:HandITL:通过无缝干预纠正提升灵巧VLA模型利用操作者无缝接管纠正来改进灵巧操作策略。
  • 当前焦点与观察点

    从这批工作看,VLA 研究正从"能执行任务"转向"可靠地执行任务"。可靠性问题体现在三个层面:一是语言层面,模型需要应对模糊指令和表达变化;二是时序层面,长程多步任务(如家具组装、双手机器人操作)要求模型具备记忆与规划能力,FurnitureVLA:用视觉-语言-动作模型实现长程双手机器人家具组装即是典型探索;三是失败处理层面,Failure Prediction and Classification in Vision-Language-Action Models Via Calibrated Latent Probing尝试用校准的潜在探测方法预测和分类模型失败,这是部署前的关键环节。

    另一个值得关注的趋势是数据与人机交互的重心化。人类纠正数据既是宝贵的训练资源,也是隐私风险源,如何在联邦学习框架下安全共享成为新问题。同时,BAIR at CoRL 2026 等学术活动的密集产出表明,学界正在系统性梳理 VLA 的评测基准与方法论。观察点在于:世界模型、记忆机制与失败预测这些组件能否整合成统一架构,以及 VLA 模型能否在真实环境的交互纠错中实现低成本持续改进。

    Coverage

    10 on file