Dyna Robotics出了个新模型Dyna-2,用100万小时人类视频训练,相当于170年经验,机器人学习的新路子,值得看看。
#world models
三星这次是动真格了,除了子公司Rainbow,自己也在搞人形机器人,还挖了波士顿动力背景的人来带队,想看看它能不能靠家电底子做出差异化。
Dyna Robotics放出了个叫Dyna-2的世界动作模型,用100万小时人类视频训的,能预测未来再行动,还发现了数据量越大越强的缩放规律,值得看看。
这篇论文说推理模型其实能建出世界模型,但解题中途就弄丢了。它用小模型和可解释性方法把问题定位得很清楚,还给出了补救办法。
这篇论文把世界模型的训练目标改成直接预测终点,DPWM在长时程预测上比递归模型准很多,而且越长优势越明显。想搞长时程决策的可以看看。
看这个,论文解决了视频生成模型长视频记忆丢失的问题,不重新训练就能把一致性拉高15个点,做视频生成的人应该关心。
LeCun出来聊长期研究和LLM了,说AGI还得靠新概念,他看好世界模型,跟主流scaling路线唱反调。
这期请了一堆机器人研究者,讲 VLA 和世界模型新论文,还有遥操作创业观点,挺干货。
研究拥挤混乱街景的世界模型,发布了新模型和115k数据集,比传统JEPA更擅长处理遮挡和异构交通。
EgoGenesis是个能生成机器人操作视频的工具,用400条合成数据就把单臂成功率从77%提到84%,双臂从53%提到70%,挺厉害。
DeepMind 的 Tom Zahavy 说了个大实话:LLM 搞不了真正的新发现,得靠世界模型。不是泛泛空谈,有论文为证。
李飞飞的公司World Labs把世界模型用到机器人上了,机器人能看懂空间、自己规划动作,跟传统方法很不一样。
NVIDIA在SIGGRAPH上发布了Cosmos-Dreams,一个能主动计算生成训练数据的模拟器。物理AI开发不再只靠收集数据了,看看演示视频吧。
比亚迪悄悄拿出的HyWorldVLA,在NAVSIM上直接以90.59分拿下SOTA,这是他们首次秀自动驾驶基础模型肌肉。
World Labs 这篇博客把模拟器定位成世界模型的核心,他们的 R2S2R 引擎能让机器人训练成本降很多,值得搞机器人开发的看看。
如果你做强化学习,特别关注世界模型,这篇论文提出Reinformed Dreamer,用潜在引导训练不对称表示,比Informed Dreamer更稳定地超越Dreamer。
Fei-Fei Li团队搞了个R2S2R引擎,让机器人训练不用老在真机上折腾,省时省钱,做机器人开发的一定要看看。
Unity中国CEO张俊波谈AI不会颠覆游戏引擎,并发布团结引擎2.0,新增AI Agent和主机平台支持。
这篇论文发现了世界模型选动作的隐性陷阱:候选越多反而越容易选错。ASAR用相邻集合重建的方法,在75个机器人任务上提升了最多28%的成功率,值得搞机器人控制的看看。
Induction Labs 搞了个新套路:不用动作标签,只看视频就能学会模拟桌面、跳棋和台球物理。106B 参数的 MoE 模型,一次预训练就够了。
Reactor 团队把 Dreamer 4 的完整训练配方和代码都开源了,JAX/Flax 实现,想复现世界模型做视频预测的赶紧看。
Koopman Dreamer 给 Dreamer 加了个谱约束核,长程想象稳多了。在 DeepMind 控制套件和无人机导航上,比原版 Dreamer 控得更好更稳。
国家基地联手魔芯搞了个MoWorld 3D,能直接文本生成3D场景,给机器人训练省大钱了。搞具身智能的别错过。
启鸣达人发了份教育AGI白皮书,讲了世界模型怎么驱动教育,搞AI教育的可以看看。
Deepmind 把视频生成器当成通用感知模型,用合成视频训练就达到了顶级深度估计水平,挺震撼的,值得一看。
阿里云百炼出了个世界模型,一句话就能生成可以亲自进去玩的数字世界,还能随时改剧情,适合做游戏原型或互动剧。
小鹏的智驾模型做到了全球通吃,同一套代码跑通中欧路况,还有明确的2027年海外交付计划,挺酷的。
这期播客聊了为什么AI学东西这么慢,重点介绍了‘世界模型’这个可能的解法,涉及AlphaGo、自动驾驶、机器人等具体案例,非常有料。
这篇论文发现DreamerV3等模型在Pong里会弄丢球,他们用CGSReg方法修了一部分问题,做强化学习的可以看看。
DriftWorld 能让机器人快速想象动作结果,比扩散模型快 17 倍,还能离线评估策略,性能强又省时。
原力灵机用DW0.5世界模型训练VLA,真机数据需求降60%。把RL搬到虚拟世界,机器人后训练成本大降。
别的世界模型几秒就崩,LingBot-World 2.0能稳跑一小时720p 60fps,超实用。来看看它怎么做到的。
高德开源的 AI 工坊,输文字或图片就能生成可实时交互的 3D 世界,还能连续跑 1 小时不崩,比同类 1 分钟长得多,且内置任意门随便穿梭。