做 model-based RL 或 active inference 规划的人该看看。它用 CARLA 里的探针实验证明想象 rollout 会悄悄丢掉障碍物信息,而且 ensemble 不确定性完全察觉不到,0.52 的 AUC 就是随机水平。这种可测量的诊断思路比单纯刷分有用。
#world models
ACE Robotics 把 Mundo 世界模型和机上技能拼成了一套酒店洗衣机器人,失败案例能反哺技能改进,单轮 18.6 秒。想看世界模型怎么在真实场景落地的,这篇比纯实验室 demo 有参考价值,做具身智能的可以细看。
华为云把世界模型和自家昇腾芯片绑在一起做了,不依赖英伟达生态。做机器人训练、具身智能的团队可以关注,毕竟全昇腾链路的具身模型目前国内还真不多见。
李飞飞创办的 World Labs 把 Atlas 世界模型全量开放了,浏览器里就能用,API 也一并上线。它输出的不只是视频,还有能直接进 3D 渲染管线的高斯泼溅资产,和 Sora、Veo 这类纯视频产品思路不同。做游戏场景、虚拟空间或仿真数据的开发者值得上手试试。
华为云要出手了,11 月 16 日发布首款昇腾原生的世界模型 CloudRobo-WM1.2。做机器人开发的值得看直播,华为云明确不造本体、只做平台,等于给国内一堆机器人公司提供了底层模型选项,跟英伟达 Cosmos 这类世界模型形成了对标。
跑机器人仿真或具身智能的朋友可以看看这个开源的 PAN 2,29B 参数,动作注入和空间一致性都做得不错,权重直接能下,自己搭环境试试就知道成色。
做 Agent 或机器人训练的朋友可以关注:PAN 2 开源了,输入一个动作描述,语言模型先推演剧情,29B 视频模型再渲染出最长 20 秒的物理结果,等于把试错搬进了仿真,不用在真实环境里烧成本。
IFM 把草莓换成橡皮鸭,模型能算出两次水花有什么不同,这是把物理规律内化进世界模型的做法。做智能体规划的人可以看看这种"先推演再执行"的思路,和 Sora 类纯视频生成模型方向不太一样。
IFM 把世界模型做成了智能体的"预演器":29B 的 LDM 负责画后果,LLM 负责想后果,选最优再动手。和纯文本推理的 agent 框架相比,它多了视频级的可视化验证。做机器人、游戏或决策型智能体的开发者可以直接下载权重和代码上手试。
阿联酋 MBZUAI 的 IFM 实验室开源了 PAN 2,用 29B 扩散模型加 LLM 规划器,能预演最长 20 秒的物理动作结果。做机器人或具身智能的团队可以自己部署跑起来,不用从零搭仿真环境,Apache 2.0 许可商用也没障碍。
Fable 5.2 的 5 个新演示挺直观的:有整座伊斯坦布尔、能打碎的体素场景,还有一个直接开浏览器就能玩的开放世界。做游戏或世界模型方向的人可以看看这批案例,感受下这类模型和静态视频生成的差别。
五个 LLM 把情境转成 POSG 世界模型,99% 能跑通但结构 F1 只有 0.366,能对上的参考不到两成。做规划或神经符号系统的开发者该看看,别只验证可执行性。
成都人形机器人创新中心的第五代贡嘎把记忆、因果推理和世界模型整合成了一套完整链路,机器人能记住物品位置并跨越多天完成任务,遇到意外还能自主改方案。做具身智能或家庭服务机器人的团队可以看看它的技术架构思路。
The ablation numbers reveal that planning, not visual fidelity, is the bottleneck in multi-step world-model tasks, a finding that will shape how teams architect embodied agents. Robotics researchers and agent builders can use the open weights to benchmark simulative reasoning pipelines against proprietary alternatives. As a UAE-based lab's release, it adds a non-US, non-China option to the open world-model landscape, relevant to ASEAN academic teams seeking accessible baselines.
IFM 放出了 PAN 2 的演示视频,内容是墨水滴进试管的扩散过程,你可以自己看看有没有穿帮。跟 Sora 这类视频模型比,它更强调物理规律。做仿真或机器人训练的可以看看。
PAN 2 团队开源了一个按时间、物理、空间来预测场景变化的世界模型,能做文生视频和图生视频。vLLM-Omni 第一天就支持它,想在自己服务器上跑视频生成或做真实世界模拟的开发者可以直接用开源推理栈部署了。
The interview offers a counterweight to hype cycles: a foundational researcher arguing embodiment and self-generated data, not more web-scale text, define the next phase. Robotics teams and enterprise planners evaluating Physical AI roadmaps get a concrete, sceptical timeline from a credible source. The framing of Japan and Germany as potential contenders in embodied AI gives readers outside the US-China race a lens on where the field may diversify.
做机器人控制或世界模型的研究者可以看看这篇。它在 LeWorldModel 基础上加了反向动力学和逆动力学两个损失项,规划效率有提升,思路和 JEPA 那条无解码器路线不一样,实验是在仿真里做的。
搞机器人世界模型的应该看看这篇。相机一挪、控制器一换,模型就得重训,这活儿很烦。LoH 完全不训练,靠前后两帧图像反推出实际动作映射,还能把映射存起来复用。成功率直接翻倍,开销几乎为零,工程上很容易试。
这家公司真的买了 3 家公司扔给 AI 运营,AlphaSocial 三个月 MRR 从 $3,600 涨到 $8,100,现在还要花 $2M 再买 5 家。想看 Agent 自主经营到底靠不靠谱的,这条线索值得跟一下。
强化学习老难题——长期记忆,这篇论文在测试时用梯度下降把记忆写进世界模型,Memory Maze 上刷新 SOTA,做 MBRL 的值得看看方法细节。
The real takeaway is a taxonomy: JEA methods like DINO and Barlow Twins suit symmetric view-matching, while JEPA's predictor targets corrupted-input or temporal prediction, with an action variable making it a world model. Researchers comparing self-supervised approaches or building world models get a concise map of which loss function fits which task.
有人把ICU患者的电子病历训练成世界模型,一次建模就能模拟床位、调度、转院多种政策,比传统Markov模型多捕捉恢复速度差异。
给自动驾驶世界模型加新目标不用再重训了,采样时注入能量引导就行,三个公开 WAM 都涨了 1.8 到 3.6 EPDMS。
The architectural split between 3D state prediction and rendering avoids the drift that plagues video-frame-recurrent world models, and the laptop-scale latency shows the approach runs on consumer hardware rather than data-centre GPUs. Developers building playable-world or interactive-simulation demos can download the code and weights and extend the framework to other games or rule-based gameplay. It compares with video-only world models like Genie-style systems by trading appearance realism for spatial persistence and control.
一篇离线强化学习新论文,MAC-v2 用潜在世界模型加动作分块,在 LIBERO-10 这些视觉基准上跑赢了 model-free 和 model-based 基线,做 RL 的可以看看。
李飞飞的 World Labs 出了个网页版演示 Frameboy,选个卡带就能逛 AI 生成的 3D 世界,就是 15 帧玩起来有点卡。
Robustness to scene changes, not raw benchmark scores, is what separates deployable robot models from lab demos, and V0.5 posts a much smaller drop than π0.5 under distribution shift. Robotics teams evaluating open-weight manipulation models can benchmark V0.5 against π0.5 in their own cluttered environments. Its base on the Wan2.2 video generator also shows video world models doubling as action predictors.
NVIDIA 的 Cosmos 框架加 NIM,把世界模型从训练到部署一条龙搞定,做机器人和物理仿真的开发者可以看看这套工具。
王兴兴解释了个反直觉现象:机器人越稳,格斗反而越不好看,背后是宇树端到端世界模型在起作用。
让视频模型不光画得像,还能推理野兽出现后人会逃跑还是躲起来,这篇论文给了配套数据集和基准,做世界模拟方向的可以看看。
国产团队把物理规则塞进了 4D 高斯场景,还能跑在昇腾芯片上,视频推理约 70 fps,做仿真和具身方向的可以看看。
百度发布的世界模型 Apollo World,能把驾驶场景变成可控仿真来训练 Apollo Go,连传感器数据都实时生成。
LiberAI 用 220 万小时人类视频训练 Liber-0,不用一条机器人演示数据就跑了 60 个任务,做具身智能的可以看看这条路线。
魔芯科技的 MoWorld 2.0 能生成带物理规则的 4D 空间资产,风一吹书页会真的翻动,而且全程跑在华为昇腾上,成本号称只有 GPU 方案三成。
World models are becoming the training ground where driving policies are stress-tested before touching real roads, and Baidu's 2+3 criteria give the field a concrete checklist for judging them. Engineers working on autonomous driving, robotics or embodied AI can use the framework to benchmark competing world models. Baidu (Apollo) also signals how Chinese AV players are closing the sim-to-real loop domestically, a useful comparison point against Waymo and Tesla approaches.
LeCun 本人下场解释 JEPA 和 LLM 的根本区别,还附了论文,想搞懂世界模型路线的看这条就够。