场景重建相关 AI 资讯 · AI 热点

7月20日

13:18

13:18

AI Will@FinanceYF5

精选72°

中国团队开源了一个3D重建模型，能从普通视频实时重建3D场景，仅需单个摄像头，无需LiDAR。该模型在单个GPU上运行速度达20 FPS，可稳定处理超过10000帧。在基准测试中，它优于传统的基于优化的方法。模型支持无人机航拍、行车记录和室内漫游等多种视频输入。

AI模型 3D重建开源模型实时3D

推荐理由：中国团队开源了这个3D重建模型，拿手机录段视频就能实时生成3D场景，比传统方法快，还不会崩。

6月1日

10:18

10:18

官方账号arXiv cs.LG@Ulrich Prestel, Stefan Andreas Baumann, Nick Stracke, Björn Ommer

精选

RayDer 提出了一种统一的、前馈式 Transformer 架构，将相机估计、场景重建和渲染整合到一个主干网络中，将自监督新视角合成（NVS）转化为一个定义良好的单模型缩放问题。通过引入最小动态状态作为干扰因素，它吸收了视频中的时变内容，从而能够在无约束的真实世界视频上稳定训练。RayDer 将静态场景 NVS 作为目标任务，动态内容仅作为可扩展的监督信号，而非像动态场景（4D）NVS 那样进行重建。实验表明，RayDer 在数据和计算量上表现出清晰的幂律缩放行为，并在多个基准测试中取得了与有监督方法相媲美的零样本开放集性能。

论文新视角合成自监督学习 Transformer

推荐理由：RayDer 解决了自监督 NVS 难以规模化的问题，做 3D 视觉和场景重建的研究者可以关注其简洁的缩放规律和零样本能力，值得在真实视频数据上试试。