#world models
一篇世界模型论文,思路挺巧:不微调模型,只用一段探索交互编码成物理描述符,就能让预测贴合场景真实物理,规划成功率提升明显。
这篇论文发现世界模型出错的地方很反直觉:不是画面糊的步骤,而是拿奖励的那几步。做规划或 RL 的人可以看看这个诊断思路。
机器人公司 Qianjue 出了个 Polibrain 世界模型,不预测视频画面,直接预测任务状态变化,四足、人形、轮式机器人都能用。
李斌在世界智能网联汽车大会上晒数据:蔚来这套世界模型加闭环强化学习的辅助驾驶,已经跑在 95 万辆车上,累计 91.4 亿公里,还讲了他怎么判断自动驾驶价值。
生数科技把Motubrain 2.0的训练过程公开直播半个月,能亲眼看到Physical AI模型怎么炼成的,挺少见,感兴趣可以去围观。
一篇很新颖的架构论文:给每个神经元学一个位置,只连附近的邻居,17 个世界模型任务里赢了 16 个,做模型结构的人可以看看。
Momenta 老板曹旭东给 L4 落地画了个具体时间点:2028 年。他还搬出 130 万台量产车和 200 亿公里数据来撑这个判断,比空谈靠谱。
这篇论文把世界模型和语言模型接上了:用语言描述动作,一个预测器跨机器人、视频多个领域通用,规划比视频生成基线快13.9倍,做机器人方向值得细看。
国内团队 VAST 把一句话生成可玩 3D 世界的全流程开源了,规则和画面分开处理,想自己做生成式游戏的可以拿来跑跑看。
arXiv 上新出的 AnyGoal 基准,专门考世界模型没见过的状态动作组合,多个模型家族测试都翻车,做 world model 研究的可以看看
Specialist models beating general LLMs by two orders of magnitude on cost signals where narrow world models may outcompete frontier systems in industrial workloads. Engineers and CAD tool builders can use SKY-001-style pipelines to reverse-engineer assemblies from photos, a workflow general models currently handle far less efficiently. Compared with general-purpose LLMs, the 150x-185x cost gap on CAD and floor-plan tasks is the number to watch as more vertical world models appear.
Maluuba 老团队做了个工程世界模型 SKY-001,CAD 和 BIM 任务上比 GPT-6 Astra 快上百倍还更便宜,做建筑设计的可以看看。
Rocket Alignment 和 World Mechanics 的创始人聊世界模型,讨论 JEPA、视频模型到底学没学到物理,做相关方向的可以听听。
这期播客请来 world_mech_ai 的 CEO Sonia Joseph,聊可解释性怎么让 AI 学物理而不是抄近路,做世界模型方向的可以听听。
有人分享了一个工程世界模型,给它一句话或一张图,它就能把设计拆成零件逐个做 3D 再装配起来,做产品概念探索挺方便。
Viggle 出的 JST-2,1 秒不到 1 美分生成能在浏览器里逛的 3D 世界,角色省掉绑骨骼直接能动,还能拿真人视频转 3D 动作。
10月19日在南京办的世界模型大会里专门开了医疗健康分会场,做医疗AI方向的可以看看议程。
做视觉控制或世界模型方向的朋友可以看看,HIJP 把规划里的在线搜索换成一个逆向模型,成功率 86.8%,速度还能快 1.9 到 16.5 倍。
VAST 开源了 EdenLive,能把简单游戏画面实时渲染成高清视频,5B 版单卡 RTX 5090 就能跑 720p 24 帧,权重代码都放出来了。
华为车BU出来的蔡佳创业做机器人的具身大脑,刚拿了近亿元天使轮,背后多家杭州国资,已在纺织和汽车零部件领域跑PoC。
VAST 把实时世界模型 EdenLive 开源了,一张消费级显卡就能跑 720P、超 24FPS 的可交互世界,感兴趣可以去试试。
中国车企去巴黎挑战凯旋门那个 12 出口的魔鬼环岛,全程无接管开完了,用的是 Momenta R7 世界模型,这波属实有点东西。
优必选把具身世界模型做到一个 Thinker-WM 上,六大能力用一个模型搞定,三大基准全是第一,做机器人的可以看看。
优必选出了个机器人世界模型 Thinker-WM,把画面、深度、动作一起学,三个具身基准都拿了第一,加深度还能涨 15 个点成功率。
这篇 T2-Z 挺有意思,给机器人世界模型加了个环境隐变量,测试时优化一下就能适应新环境,动作成功率从 34% 拉到 73%,做机器人方向的朋友可以看看。
这个叫 GeoState 的方法把相机运动从场景变化里拆开,3D 世界模型在 Waymo 上效果更好,还能零样本跑 KITTI 和 nuScenes。
一篇关于世界模型的新论文,提出的 Concat IDM 在 Push-T 任务上把成功率从 9.1% 拉到 77.2%,做机器人规划或强化学习的可以看看思路。
fal 出了个 Worlds 平台,能实时搭角色、导演场景,世界模型像 LingBot World、H3 Max Director 都能用,玩起来像逛 AI 生成的开放世界。
Skywork 把世界模型做成了真能玩的游戏,单张 5090 跑 60 FPS,改代码就能换玩法,权重代码全开源了。
AI Engineer 纽约大会压轴场出炉:Apollo 讲自家 AI 打法,Runway CEO 聊世界模型,还有智能体决策核查专场。
FLUX 3 Action 用 95% 以上的视频数据做预训练,机器人换新机械臂只需约 200 条演示,权重开放,仿真榜第一。
禾赛发了个 8K 空间相机,拍一圈 15 分钟建出 100 平米的 3D 模型,还能直接生成机器人训练数据,挺有意思