精选理由
GenRecon用手机拍几张照片就能生成高精度3D模型,细节比传统方法多16%,还能直接编辑。
GenRecon提出将生成式3D先验与多视角重建相结合的新方法。它把场景切成重叠chunk,使用生成模型Trellis.2进行条件重建。通过投影式conditioning机制,将多视角图像特征提升到3D空间。最终输出高质量可编辑的PBR mesh,在室内场景重建上比当前SOTA高16%保真度和完整度。
原文 · berryxia
卧槽,手机就可以完成3D建模了! GenRecon提出了一种把生成式3D先验和多视角重建结合起来的…
卧槽,手机就可以完成3D建模了!
GenRecon提出了一种把生成式3D先验和多视角重建结合起来的新方法。
它不再单纯依赖传统SfM/MVS或NeRF-style优化,而是把场景切成有重叠的chunk,用强生成模型(比如Trellis.2)做条件生成来重建每个chunk,再拼起来。
核心创新是用投影式的conditioning机制,把多视角图像特征直接提升到和生成模型对齐的3D空间里。
最终输出是高质量、可编辑的PBR mesh,在室内场景重建上据称比当前SOTA高出16%的保真度和完整度。
这其实代表了当前3D重建的一个趋势:不再只靠几何约束,是越来越多地借用生成模型的先验来补全缺失信息、提升细节。