7月2日
10:27
10:27官方账号arXiv cs.AI@Liyuan Zhu, Shengyu Huang, Amrita Mazumdar, Tianye Li, Zan Gojcic, Gordon Wetzstein, Iro Armeni, Shalini De Mello, Alex Trevithick
该方法提出从单目视频生成可自由渲染的动态3D高斯表示。通过视频模型条件化密集像素对齐渲染,编码外观、几何和3D场景运动,以纠正初始重建的伪影并填补缺失区域。训练时构建了多视角视频对和动态3DGS数据集,模拟单目重建的典型伪影。测试时将模型生成的新区域和运动蒸馏回单一一致的高质量动态3DGS,在4D重建上达到新SOTA,并泛化到视角变化大的野外视频。
推荐理由:想从普通视频生成能自由旋转看的3D场景?这个新方法用高斯点云重建动态效果,超越现有4D重建技术。
6月29日
10:09
10:09官方账号arXiv cs.AI@Jiaxin Li, Yuxiang Wu, Zhenkai Zhang, Xinrui Shi, Haoyuan Wang, Yichen Zhao, Su Linxiang, Chenyang Yu, Mingyu Zhang, Yifan Ding, Boran Wen, Li Zhang, Ruiyang Liu, Yong-Lu Li
HAT-4D是首个用于从单目视频中重建多个物体3D几何、时间动态和物理交互的智能体框架。它结合视觉语言模型(VLM)和多级人工反馈机制,解决深度模糊和遮挡问题,无需多相机设备。利用HAT-4D构建了MVOIK-4D基准,包含新的多维评估协议,侧重物理合理性和时间一致性。在大多数评估指标上达到SOTA,同时保持语义对齐。少量人工反馈即可显著改善交互重建质量。
推荐理由:不用多相机,单视频就能重建多个物体怎么动,还能人工纠正错误。HAT-4D这个框架开源了,做Embodied AI的数据生成很方便。