#world models

437 stories · 37 in 7 days · 124 in 30 days
Stories, products and papers tagged "world models", newest first.
Nov 23
Nov 22
ModelsBuildersMulti-source01:09
Chinese contentNvidia 副总裁 Deepu Talla:机器人不能只懂指令,还需预测行动后果

Nvidia 机器人负责人亲自讲了 VLA 模型的局限:机器人会听指令但不会预判后果,得靠 Cosmos 这类世界模型先模拟再动手。做机器人、具身智能方向的开发者值得听听他的融合路线怎么走。

Event
The Information@theinformationSource
Nov 21
PapersBuildersMulti-sourceSelected01:03
NVIDIA Research WorldTrace improves scene consistency in interactive video world models

The non-obvious point is that consistency gains came without any retraining, meaning existing world-model pipelines could adopt the memory mechanism directly. Teams building interactive video environments, simulation tools, or explorable media should examine the NeurIPS 2026 paper's details and the LoopBench protocol to evaluate whether the 32% recall gain holds on their own scene types. Compared with sliding-window baselines, the approach shifts the bottleneck from context length to memory design.

Event
Official accountNVIDIA AI@NVIDIAAISource
Nov 20
Chinese content华为云用昇腾算力训出双榜SOTA具身世界模型,计划开放整套底座

华为云拿昇腾国产算力训出了具身世界模型,在两个榜单上做到SOTA,还打算把整套训练底座开放给开发者。做机器人或具身方向的团队可以省掉自己搭仿真和训练设施的功夫,直接在这套底座上起步。国产芯片跑高难度具身训练这件事本身就值得看看细节。

Event
量子位@田, 晏林Source
ProductsBuildersOfficial72°06:06
Chinese content谷歌世界模型 Genie 4 开放 Gemini API 与 AI Studio 访问

谷歌把 Genie 4 世界模型放进了 Gemini API 和 AI Studio,开发者可以直接调用来做交互式环境类应用。之前世界模型大多停留在演示阶段,这次真正能写进自己的产品里,想试新交互形态的开发者可以去 ai.studio/genie 玩玩。

Primary source歸藏(guizang.ai)@op7418Source
ModelsBuildersSelected04:52
Runway Releases Praxis-1, a 27B MoE Video-Action Diffusion Model

A video-generation company moving from text-to-video toward unified world models suggests the next competitive front is interactive simulation, not prettier clips. Builders in gaming, robotics and simulation should read the technical report to assess whether a 27B MoE design offers usable control fidelity. Compared with DeepMind's Genie line, Praxis-1's open technical detail makes it a practical reference for architecture choices.

Official accountRunway ML@runwaymlSource
Chinese contentKnit Health 获 3500 万美元 A 轮融资,开发医疗行业世界模型

医疗 AI 创业公司 Knit Health 拿了 3500 万美元 A 轮,不做单点工具,而是给医院做世界模型当连接层。CEO Jonathan Kolstad 说很多医院已经有兴趣。做医疗信息化或医院采购的人可以看看这条路线和通用大模型方案的区别。

Healthcare Dive@Rebecca Pifer ParduhnSource
Chinese contentGoogle 在 Gemini API 与 AI Studio 中上线 Genie 4 世界模型

Google 把 Genie 4 直接开放到 Gemini API 和 AI Studio 了,做游戏原型、仿真环境或智能体训练的朋友可以去 ai.studio/genie 试试。这是他们第一个面向开发者的世界模型,玩法和普通视频生成模型很不一样。

Official accountLogan Kilpatrick@OfficialLoganKSource
Nov 19
Chinese contentJEPA 世界模型学会回答"如果当初":反事实推理无需反事实数据

这篇论文挺有意思:它从数学上证明普通世界模型天生答不了"换个动作会怎样",然后给出一个零额外数据的修正公式。实验里反事实 R² 直接从四成拉到九成,用的还是 DINOv2 这类现成冻结编码器。做机器人或强化学习的开发者值得认真读,反思机制可以直接套到已有模型上。

arXiv cs.AI@Randall Balestriero et al. (3)Source
Chinese contentWorldRuler提出可配置规则驱动的交互式世界模型框架

搞世界模型或游戏生成的可以看看这篇:WorldRuler用3D规则图把规则执行和视频生成接成闭环,存档读档不丢状态,规则还能作用到还没出现的物体上。数据集是用GTA-V和Habitat自动标注出来的,复现路径比较清晰。

arXiv cs.AI@Mingliang Zhai et al. (9)Source
Chinese contentGoogle DeepMind 发布 Genie 4:实时文字修改的交互式 3D 世界模型

Google DeepMind 给 Project Genie 换上 Genie 4,生成的 3D 世界能用文字实时改,还首次带声音。做游戏原型或交互内容的开发者可以看看 AI Ultra 订阅能不能用上,社区画廊还能直接改编别人的世界。

Official accountDecoder@Matthias BastianSource
Chinese contentGoogle Genie 4 支持探索中实时输入新提示词并同步生成音频

Google 把 Genie 4 开放进 Project Genie,AI Ultra 订阅用户就能玩。最大亮点是边探索边打字改场景、加角色,音频还能实时跟上,跟 Sora 那种生成完就定死的视频完全不一样。喜欢世界模型和交互式体验的可以上手试试。

Sundar Pichai@sundarpichaiSource
Chinese contentGoogle DeepMind 发布交互式世界模型 Genie 4,Ultra 订阅用户可抢先体验

DeepMind 把实时物理、推理和音频塞进了 Genie 4 这一个世界模型,还能嵌套生成模拟。Ultra 订阅用户直接在 Project Genie 里就能玩,比之前 Genie 系列只放演示视频实在多了。做游戏、仿真或交互内容的人应该去看看博客里的技术细节。

Official accountDemis Hassabis@demishassabisSource
ModelsUS vs ChinaMulti-source00:48
Chinese contentOpenAI 发布 GPT-6.2 Sol 与 6.2 Astra,并用 Astra 生成可漫游的虚拟巴黎 Paris Atlas

OpenAI 这次一下发了两个新模型,还顺手用 Astra 把整个巴黎按真实地图数据建成了能走路、能开车的虚拟城市,浏览器打开就能逛。做游戏、数字孪生的开发者可以重点看看这套世界生成的思路。

Event
Techsauce@ Techsauce Team Source
Nov 18
Chinese contentarXiv 论文提出测试世界模型泛化能力的方法:以零售定价为实验场景

做世界模型评估的人应该看看这篇:2,853 个模型跑下来,证明平时看的预测精度在比较同一模型不同版本时可能完全失灵,甚至会反转到 -0.69。更有用的是它发现注入几条定价规则比 JEPA 预训练管用,零售和制药场景的实验设计可以直接套用。

arXiv cs.LG@Karthik IyerSource
Chinese content面向自动驾驶的闭环交互式世界模型,行为差异降低85%

这篇论文把背景车策略、3DGS渲染和信号灯模拟拧成了一个闭环,专攻自动驾驶仿真里'行为假、画面糊'的老毛病。比现有世界模型行为差异降85%、PSNR高2dB,做自动驾驶仿真评测的团队和端到端规划研究者很该看看。

arXiv cs.AI@Jia Hu et al. (7)Source
Chinese content蚂蚁开源 Duo:把交互决策放进世界模型的双向数字人框架

蚂蚁开源的 Duo 和常见数字人管线不是一回事:它把'什么时候说话'的决策做进了模型本身,Intent 每 0.7 秒判断开口或等待,Realization 再同步生成音视频。做虚拟陪伴、游戏 NPC 或实时交互的开发者可以拉下来跑跑,看看这套范式比对话树方案顺滑多少。

AIGCLINK@aigclinkSource
Nov 17
Chinese contentLazy-MOSAIC:用学习到的技能效果世界模型加速机器人操作规划

如果你的机器人要在长时程任务里从技能库中挑动作,这篇论文给了一条提速路子:用学习型世界模型毫秒级预筛候选技能,仿真只花在刀刃上,比 MOSAIC 全量仿真省得多,成功率还不掉。做操作规划的工程团队可以看看。

arXiv cs.AI@Itamar Mishani et al. (4)Source
Chinese contentLynnReal-Hand:用手部动作直接操控的交互式视频世界模型

用手就能直接操控视频世界模型,不再只靠文字和镜头指令。单张 H200 跑到 18 FPS、延迟 741ms,还能实时交互。做具身智能、交互仿真或者世界模型研究的开发者值得关注,代码和数据都会开源。

Event
arXiv cs.AI@Shaohao Rui et al. (4)Source
Chinese contentSADL 提出供需匹配约束,将 JEPA 表示崩溃率从 50% 降到 0%

做自监督或世界模型的人应该看看这篇。JEPA 训练时表示崩溃很常见,SADL 不加参数、不改架构,只用一个供需匹配的约束就把崩溃率从 50% 压到 0%,有效秩提升好几倍。如果你在用 LeWM 或 INTACT 这类框架,可以直接对照复现。

arXiv cs.LG@Junhan Sun et al. (10)Source
Papers13:08
Chinese contentSAFER 框架破解自动驾驶世界模型规划的探索-利用难题

这篇论文解决了自动驾驶世界模型的一个真问题:训练数据没覆盖的场景模型会瞎猜。它靠专家标注别人造成的故障来离线扩展覆盖,CARLA 和 MetaDrive 上的闭环成绩都是对比方法里最高的。做自动驾驶规划或闭环仿真的开发者值得把方法部分细看。

arXiv cs.AI@Yansong Qu et al. (5)Source
Chinese contentUC Berkeley 衍生公司 Knit Health 获 NEA 领投 3500 万美元 A 轮融资,发布医疗世界模型 Med-BEAM

UC Berkeley 出来的 Knit Health 拿了 NEA 领投的 3500 万美元,还发了 Med-BEAM。它学的不是病历文字,而是数亿次真实诊疗决策的时序,做患者轨迹预测,方向和文本类医疗模型很不一样。做医疗 AI 的人可以看看这条路能不能落地。

HIT Consultant@Jasmine PennicSource
IndustryBuildersMulti-source04:01
Chinese contentNvidia 机器人副总裁 Deepu Talla:机器人的 ChatGPT 时刻或在 1-3 年内到来

Nvidia 机器人负责人亲口给出时间表,说物理 AI 的爆发就在 1-3 年内。他聊了仿真训练、世界模型和人形机器人到底有没有必要,想做机器人方向或判断硬件投资时机的都该听听。

Event
The Information@theinformationSource
IndustryBuildersMulti-source03:30
Chinese contentNvidia 副总裁 Deepu Talla 谈机器人何时迎来 ChatGPT 时刻

Nvidia 负责机器人的副总裁上播客聊了为什么机器人几年内会有 ChatGPT 时刻,核心是智能体加世界模型加仿真这条路。做机器人和具身智能的朋友可以直接听一手观点,省去翻报告的时间。

Event
The Information@theinformationSource
Nov 16
Chinese contentWeatherDreamer:从多模态地球观测中端到端学习天气世界模型

传统数值预报靠昂贵的数据同化系统起步,这篇论文直接从原始观测学到同化和预报的完整循环,GEFS 都被它比下去了。做气象 AI 或数据同化的人值得看看它怎么把滤波循环塞进世界模型里,单 GPU 跑全球分析这个效率也很打动人。

arXiv cs.LG@Kate Duffy et al. (5)Source
Nov 14
Nov 13
ModelsBuildersMulti-sourceSelected23:49
Runway Releases Praxis-1, a 27B MoE Video-Action Diffusion Transformer

Joint video-and-action prediction suggests Runway is steering its research toward world models that could serve robotics and simulation, not just media generation. Developers and researchers working on embodied AI or interactive video should read the technical report for architectural details unavailable in most commercial releases. It offers a direct comparison point against open world-model efforts that typically disclose far less about training design.

Event
Official accountRunway ML@runwaymlSource