世界动作模型

concept · First seen 2026-06-05 · Last seen 2026-10-28 · 8 mentions

Overview

世界动作模型(World-Action Model)是一类同时建模环境动态并直接输出机器人动作的基础模型,被视为连接视频生成与机器人控制的关键架构,正成为具身智能领域继 VLA(视觉-语言-动作模型)之后的又一技术路线。与只生成画面的世界模型不同,它把“预测世界如何变化”与“决定下一步做什么”统一在一个模型里,目标是让机器人从海量人类视频中习得通用操作能力。

世界动作模型的近期进展

  • Dyna-2:仅用百万小时人类视频训练,零机器人数据也能提升机器人任务表现:Dyna Robotics 发布的 Dyna-2 是这一路线的代表性成果。该模型预训练使用超 100 万小时人类视频,在完全不依赖机器人数据的情况下,仍能在下游机器人任务上带来提升,验证了“人类视频即可作为世界动作模型预训练语料”的假设。
  • TAPDreamer 论文:对抗补丁可将世界动作模型成功率降到 0:安全研究者发现,通过在场景中放置对抗性补丁,可以将世界动作模型的任务成功率降至 0,暴露出这类模型在视觉感知鲁棒性上的脆弱性,为部署前的安全评估敲响警钟。
  • 机器人领域正处在 LLM 的“GPT-2 时刻”:业内观察认为,VLA 与世界-动作模型的预训练已经规模化,模型具备了“广而不稳”的能力,当前瓶颈在于缺乏一套标准化、可复用的后训练方法,把“能做”变成“每次都可靠地做”。
  • 雷军:小米机器人团队拿下两大国际赛事冠军:小米机器人团队在两大国际赛事中夺冠并大幅领先第二名,反映出国内厂商在具身智能落地能力上的进展,也与世界动作模型的产业化节奏相互呼应。
  • 当前焦点与观察点

    世界动作模型目前处于类似大语言模型早期的阶段:预训练范式初步跑通,但可靠性、安全性和评估标准尚未成熟。值得关注的方向包括三个:一是人类视频预训练的数据效率与规模上限,Dyna-2 的零机器人数据结果是重要参照;二是对抗鲁棒性问题——TAPDreamer 显示的“成功率降到 0”意味着真实环境部署前必须有系统性的安全测试;三是后训练方法论的标准化,谁能先解决“广而不稳”到“稳定可靠”的跨越,谁就可能在具身智能的下一阶段占据先机。

    Coverage

    7 on file