Chinese contentDreamX:将视频扩散模型改造成通用潜在动作学习器
一篇有意思的论文:把视频扩散模型拿来学潜在动作,每帧压到 4 个 token,人类和机器人的动作能互相迁移,在 LARY-Bench 上拿了最优。
一篇有意思的论文:把视频扩散模型拿来学潜在动作,每帧压到 4 个 token,人类和机器人的动作能互相迁移,在 LARY-Bench 上拿了最优。
给灵巧手加触觉世界模型,六项任务平均分70.6,基线只有38.0,做机器人操作的可以看这篇。
MirrorWorld 把镜像反射生成做成视频修复任务,用 SRD 和 GTA 分别管反射内容和位置,效果比图像方法和视频修复基线都好。
这篇论文用多球碰撞实验揭示了视频扩散模型做因果推理时的短板,增加去噪步数没用,但自回归和加深网络有效。对做视频生成和物理模拟的人很有启发。
NVIDIA发的新论文,用时空缓存压缩和稀疏注意力,让视频扩散生成速度飙5-10倍,内存还不涨,搞视频生成和世界模型的朋友可以看看。
视频生成团队终于有了解决长序列KV缓存内存爆炸的方案——VideoMLA将内存减少92.7%且不牺牲质量,做长视频扩散的开发者可以直接在B200上试,吞吐量提升1.23倍。