7月2日
10:27
10:27官方账号arXiv cs.AI@Liyuan Zhu, Shengyu Huang, Amrita Mazumdar, Tianye Li, Zan Gojcic, Gordon Wetzstein, Iro Armeni, Shalini De Mello, Alex Trevithick
该方法提出从单目视频生成可自由渲染的动态3D高斯表示。通过视频模型条件化密集像素对齐渲染,编码外观、几何和3D场景运动,以纠正初始重建的伪影并填补缺失区域。训练时构建了多视角视频对和动态3DGS数据集,模拟单目重建的典型伪影。测试时将模型生成的新区域和运动蒸馏回单一一致的高质量动态3DGS,在4D重建上达到新SOTA,并泛化到视角变化大的野外视频。
推荐理由:想从普通视频生成能自由旋转看的3D场景?这个新方法用高斯点云重建动态效果,超越现有4D重建技术。