世界模型跑来设计芯片了,单颗 NPU 干到 700TOPS,算力利用率还能到 99%,搞芯片的朋友可以看看这套 AI 设计流程。
#world models
新加坡团队做的 Mundo,拍 1 到 12 张照片就能生成带物理的 3D 场景练机器人,代码和权重 11 月底开源,搞机器人仿真的可以蹲一下。
一篇有意思的论文:world2vec 不靠奖励就能学出忠实的潜在动力学,参数量比 DreamerV3 少一个量级,还能做系统辨识,做可解释性和科学发现方向的可以看看。
腾讯混元放出了 8B 的交互式视频世界模型 Hy-Nomas,还带一个 280 例的评测基准,做世界模型方向的可以直接拿来测。
Momenta 要出新世界模型 R7 Ultra,参数扩到 5 倍,靠 XHEART 芯片 700 TOPS 算力跑在车端,主打复杂路况推演能力。
DeepMind 把 Genie 4 升级出声音和实时改世界了,还能和 Gemini 3.8 Flash 配合做多步骤事件,用来看机器人在虚拟世界里的反应。
大众把中国当成研发主场了,自研平台、芯片、智驾全都要自己来,测试效率提升上千倍这个数字可以看看。
研究者用新指标 LRC 检验了一圈主流 latent world models,结论挺扎眼:没一个真在学环境动态。做 world model 方向的值得看下。
机器人领域的研究者可以看看这个思路:把动作当视频 patch 塞进预训练视频模型,推理时不用生成视频,单步 DDIM 就能出动作,84ms 一块。
谷歌 Genie 4 一句话就能生成能玩的虚拟世界,还带同步音频,值得去 AI Ultra 试试看。
谷歌 DeepMind 出的 Genie 4 能用一句话实时改天气、加角色,音画同步生成,跟普通视频生成完全是两个玩法,可以先看演示视频过过瘾。
Genie 4 能一句话造出可交互世界,还带同步音频,场景能撑两分钟,比 Runway 的 GWM Worlds 2 和前代 Genie 3 都更进一步,做游戏或分镜的可以关注。
有人上手试了 Genie 4,画面是真逼真,想让啥出现就有啥,但操控角色基本不听使唤,转个身车还会变形,看完你对它的真实水平有数。
谷歌发了 Genie 4,能生成 120 秒可交互的世界模型,不是看视频而是能在里面操作,作者亲测写了自己的体验感受。
Google DeepMind 的 Genie 4 一句话就能生成能走进去的 3D 世界,声音和对话也一起生成,不用后期配音,做游戏原型和机器人训练的可以关注。
DeepMind 搞了个 Genie 4,能实时生成可以玩的 3D 世界,还有声音和会说话的角色,背后用 Gemini 保证画面不崩,不过玩久了画面会露馅。
DeepMind 的 Genie 4 能边生成画面边出声音和对话,还能用打字实时改场景,连人形机器人下跳棋都能模拟出来,挺值得玩味。
Google 的 Genie 4 直接实时生成了一个可互动的 DOOM 世界,办公室里连墙都在跑 DOOM,还有发奖金的恶魔同事,效果挺离谱的,看看演示就知道世界模型现在到什么程度了。
DeepMind 的 Genie 4 来了,能配 Gemini 3.8 Flash 看场景拆步骤、逐步检查,还能模拟 Apollo 人形机器人,做机器人训练的值得看。
DeepMind 的世界模型 Genie 4 来了,能实时生成音频,还能在模拟跑着的时候用文字改方向,目前只对受信任测试者开放。
Google 把 Genie 3 的 1 分钟会话拉到 2 分钟,还让 Gemini 3.8 Flash 当向导实时引导场景,想玩交互式生成的可以去排队了。
Google 的 Genie 4 来了,能边生成边改世界,还带原生音频,之后 Ultra 订阅用户就能用上。
Google 出了 Genie 4 世界模型,能用一句话实时改场景,还会生成音频,底层跑的是 Gemini 3.8 Flash。
Planning visually instead of chaining LLM calls is what gives SKY-001 both its speed advantage and geometrically valid part construction, a design choice other generative CAD tools may now copy. Engineers who sketch early concepts can jump straight into Autodesk Fusion instead of modelling from scratch. Speed comparisons against GPT-6 Astra give buyers a concrete benchmark for evaluating this emerging category.
特赞讲了个有意思的思路:企业 Agent 光靠通用大模型不够,还得给公司单独建一个世界模型,让 Agent 真懂业务语境。
昆仑万维的 Matrix-Game 2.5 太猛了,34B 的世界模型一张 5090 就能实时跑,抬手还能下雪,玩玩看。
重庆的 Dawa Technology 把 34B 世界模型塞进一张消费级 RTX 显卡跑 720p 25fps,用的还是普通摄像头画面,硬件门槛确实低。
Kyutai 开源了 7 个 CADRE 视频自编码器,单张 H100 就能跑 20 fps、延迟不到 230 ms,做交互式世界模型可以试试。
Cosmos is positioning itself as the default stack for world models — the systems that let robots and vehicles rehearse in simulation before touching the real world. The named adopters, from Porsche to Siemens, signal that industrial players are already past the pilot stage. Teams working on robotics or autonomous driving should compare Cosmos against building data pipelines in-house.
Consumer-GPU inference lowers the hardware barrier that keeps most world models out of hobbyist and lab budgets, and LoRA hooks make it a practical base for robotics simulation. Developers building interactive video, embodied AI or game prototyping can grab the weights from Hugging Face and fine-tune on their own data. Compared with closed world models behind APIs, Hy-Nomas gives full control over generation pipelines.
JEPA 潜空间一直像黑盒,这篇论文加 16 个关系通道再用逆动力学损失,不用关系标注就能让模型理解谁对谁做了什么,实验数据给得挺扎实。
一篇世界模型论文,思路挺巧:不微调模型,只用一段探索交互编码成物理描述符,就能让预测贴合场景真实物理,规划成功率提升明显。
这篇论文发现世界模型出错的地方很反直觉:不是画面糊的步骤,而是拿奖励的那几步。做规划或 RL 的人可以看看这个诊断思路。
机器人公司 Qianjue 出了个 Polibrain 世界模型,不预测视频画面,直接预测任务状态变化,四足、人形、轮式机器人都能用。
李斌在世界智能网联汽车大会上晒数据:蔚来这套世界模型加闭环强化学习的辅助驾驶,已经跑在 95 万辆车上,累计 91.4 亿公里,还讲了他怎么判断自动驾驶价值。
生数科技把Motubrain 2.0的训练过程公开直播半个月,能亲眼看到Physical AI模型怎么炼成的,挺少见,感兴趣可以去围观。