新视角合成相关 AI 资讯

7月17日

11:57

官方账号arXiv cs.LG@Baback Elmieh, Lynn Tsai, Zeman Li, Srinivas Kaza, Tiancheng Sun, Gabor Csapo, Ali Behrouz, Yuan Deng, Stephen Lombardi, Steven M. Seitz, Xuan Luo

该方法将记忆更新与记忆应用解耦，记忆更新周期进行、记忆应用逐帧完成，并采用跨视角注意力处理记忆状态与当前帧之间的形变。引入辅助Memory Loss强制模型内化场景历史，Memory Caching策略防止主动权重灾难性漂移。在动态人体运动场景上实现实时处理，SOTA性能，支持分钟级在线记忆。

论文新视角合成动态场景记忆机制

推荐理由：这篇论文提出一种新的动态视角合成方法，通过分开记忆更新和应用的频率，实现了实时处理，而且能记住长视频里的短暂遮挡区域。

原文

6月2日

11:07

官方账号arXiv cs.AI@Kaidi Zhang, Guanxu Zhu

精选

本文提出一种基于可微多平面图像（MPI）的新视角合成方法，旨在平衡渲染速度、模型大小和稀疏视图下的性能。该方法利用视觉基础模型预测的点图进行几何初始化，并通过可微优化调整MPI层。为解决稀疏初始化导致的空洞和伪影问题，引入了一步扩散模型，同时参与MPI优化和渲染后处理。与基于3D高斯泼溅的代表性方法相比，该方法在正面视图场景下速度提升30.7%，模型大小仅为其14.8%，同时保持竞争性的合成质量。

论文新视角合成多平面图像可微优化

推荐理由：对于需要在新视角合成中兼顾速度、模型大小和稀疏视图性能的开发者，该方法提供了一个轻量级替代方案，比3DGS快30%且模型小85%，值得在移动端或资源受限场景下尝试。

原文

6月1日

10:18

官方账号arXiv cs.LG@Ulrich Prestel, Stefan Andreas Baumann, Nick Stracke, Björn Ommer

精选

RayDer 提出了一种统一的、前馈式 Transformer 架构，将相机估计、场景重建和渲染整合到一个主干网络中，将自监督新视角合成（NVS）转化为一个定义良好的单模型缩放问题。通过引入最小动态状态作为干扰因素，它吸收了视频中的时变内容，从而能够在无约束的真实世界视频上稳定训练。RayDer 将静态场景 NVS 作为目标任务，动态内容仅作为可扩展的监督信号，而非像动态场景（4D）NVS 那样进行重建。实验表明，RayDer 在数据和计算量上表现出清晰的幂律缩放行为，并在多个基准测试中取得了与有监督方法相媲美的零样本开放集性能。

论文新视角合成自监督学习 Transformer

推荐理由：RayDer 解决了自监督 NVS 难以规模化的问题，做 3D 视觉和场景重建的研究者可以关注其简洁的缩放规律和零样本能力，值得在真实视频数据上试试。

原文