论文精选

IVGT:隐式视觉几何Transformer实现无位姿多视图3D重建

IVGT: Implicit Visual Geometry Transformer for Neural Scene Representation

精选理由

做3D重建和神经渲染的团队终于有了一个无需相机位姿就能生成连续几何的通用方案——IVGT直接解决了显式点图冗余和几何不连续的老问题,做多视图重建的开发者值得一试。

AI 摘要

IVGT提出了一种隐式视觉几何Transformer,能从无位姿的多视图图像中学习连续的神经场景表示。与现有方法预测显式点图不同,IVGT在规范坐标系中隐式建模连续几何,支持任意3D位置的连续空间查询。通过轻量解码器预测符号距离函数值和颜色,可直接提取连续表面几何,并渲染任意视角的RGB图、深度图和法线图。模型经多数据集联合训练,在网格/点云重建、新视角合成、深度/法线估计和相机位姿估计等任务上表现优异,展现了跨场景的泛化能力。

AI 翻译 · 中文

IVGT提出了一种隐式视觉几何Transformer,能从无位姿的多视图图像中学习连续的神经场景表示。与现有方法预测显式点图不同,IVGT在规范坐标系中隐式建模连续几何,支持任意3D位置的连续空间查询。通过轻量解码器预测符号距离函数值和颜色,可直接提取连续表面几何,并渲染任意视角的RGB图、深度图和法线图。模型经多数据集联合训练,在网格/点云重建、新视角合成、深度/法线估计和相机位姿估计等任务上表现优异,展现了跨场景的泛化能力。

arXiv cs.AIReconstructing coherent 3D geometry and appearance from unposed multi-view images is a fundamental yet challenging problem in computer vision. Most existing visual geometry foundation models predict explicit geometry by