3D重建

general · First seen 2026-05-22 · Last seen 2026-11-18 · 49 mentions

Overview

3D重建是指从照片、视频或其他观测数据中恢复物体或场景三维结构的技术,近年来正从传统的摄影测量与SLAM流程,快速转向以生成式大模型和前馈神经网络为核心的方案。其应用范围也从工业测量、自动驾驶感知,扩展到室内设计、内容创作等消费级场景,普通用户上传一段视频就能得到可漫游的三维空间正在成为现实。

3D重建近期进展

  • Interior AI 上线视频转 3D 功能:上传房间视频即可生成可漫游 3D 空间:独立开发者 Pieter Levels 推出视频转 3D 能力,用户上传房间视频即可生成可编辑、可漫游的三维空间,随后又更新支持视频转 3D 房间编辑并新增地板图模式,将重建结果直接接入设计工作流。
  • Interior AI 导入 IKEA 全目录,支持户型图重建家居:该产品进一步接入 IKEA 全部商品目录,并支持从户型图出发重建家居布局,显示 3D重建正在与真实商品数据结合,走向“重建—编辑—落地”闭环。
  • NVIDIA 发布 Déjà View:117M 参数模型从多角度照片重建 3D 几何与相机位姿:英伟达推出仅 117M 参数的轻量模型 Déjà View,可从多角度照片同时估计三维几何与相机位姿,表明小模型在前馈式重建任务上仍有竞争力。
  • 英伟达开源 Lyra 2.0:一张照片生成可漫游的 3D 场景:Lyra 2.0 已开源,只需一张图片即可生成可漫游的三维场景,属于生成式重建路线的代表工作。
  • 3D重建的当前焦点与观察点

    目前 3D重建技术呈现两条并行路线:一是前馈式几何估计(如 VGGT、Déjà View),追求快速、精确的几何与位姿输出;二是生成式场景合成(如 Lyra 2.0),牺牲部分几何精度换取易用性和沉浸式体验。两者之间的取舍——是先重建再渲染,还是直接生成——仍是学界和工业界讨论的重点。

    工程效率也是热点方向。Hexels 提出用六边形面元表示场景,降低渲染与重建的显存开销;另有研究利用冻结的 VGGT 特征预测模型自身的位姿估计失败情况,为重建结果的可靠性评估提供了思路。

    应用边界也在扩展:有工作(DRAFT)尝试从 fMRI 信号和相机轨迹重建房间布局,显示重建输入源的多样化。对普通用户而言,值得关注的观察点是消费级产品(如 Interior AI)能否在精度、编辑自由度和成本之间取得平衡,以及开源模型能否持续缩小与闭源方案的差距。

    Coverage

    10 on file