AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：新视角合成×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月2日
11:07
11:07arXiv cs.AI@Kaidi Zhang, Guanxu Zhu
精选
本文提出一种基于可微多平面图像（MPI）的新视角合成方法，旨在平衡渲染速度、模型大小和稀疏视图下的性能。该方法利用视觉基础模型预测的点图进行几何初始化，并通过可微优化调整MPI层。为解决稀疏初始化导致的空洞和伪影问题，引入了一步扩散模型，同时参与MPI优化和渲染后处理。与基于3D高斯泼溅的代表性方法相比，该方法在正面视图场景下速度提升30.7%，模型大小仅为其14.8%，同时保持竞争性的合成质量。
论文新视角合成多平面图像可微优化稀疏视图轻量级模型
推荐理由：对于需要在新视角合成中兼顾速度、模型大小和稀疏视图性能的开发者，该方法提供了一个轻量级替代方案，比3DGS快30%且模型小85%，值得在移动端或资源受限场景下尝试。
原文
6月1日
10:18
10:18arXiv cs.LG@Ulrich Prestel, Stefan Andreas Baumann, Nick Stracke, Björn Ommer
精选
RayDer 提出了一种统一的、前馈式 Transformer 架构，将相机估计、场景重建和渲染整合到一个主干网络中，将自监督新视角合成（NVS）转化为一个定义良好的单模型缩放问题。通过引入最小动态状态作为干扰因素，它吸收了视频中的时变内容，从而能够在无约束的真实世界视频上稳定训练。RayDer 将静态场景 NVS 作为目标任务，动态内容仅作为可扩展的监督信号，而非像动态场景（4D）NVS 那样进行重建。实验表明，RayDer 在数据和计算量上表现出清晰的幂律缩放行为，并在多个基准测试中取得了与有监督方法相媲美的零样本开放集性能。
论文新视角合成自监督学习Transformer场景重建RayDer
推荐理由：RayDer 解决了自监督 NVS 难以规模化的问题，做 3D 视觉和场景重建的研究者可以关注其简洁的缩放规律和零样本能力，值得在真实视频数据上试试。
原文