AITOP

3D重建

共 11 条相关 AI 资讯
7月10日
11:38
11:38官方账号arXiv cs.LG@Xiao Fu, Yue Hu, Meida Chen, Peter Anthony Beerel, Barath Raghavan
该论文提出LTM，一种多模态重建框架，利用过时的数字高程模型（DEM）作为几何先验，通过物理像素对齐替代传统特征匹配，计算复杂度大幅降低。在基于真实野火区域的模拟器上，方法生成高保真深度图并保持实时性能。相比现有技术，重建精度和计算效率均有显著提升。
论文LTM3D重建地形模型野火数字高程模型
推荐理由：这篇论文用旧DEM数据低成本做高精度3D地形重建，比LiDAR省钱，比纯图像方法更准，还实时。搞野火应急或地理信息的人可以看看。
原文
7月2日
22:47
6月16日
09:44
09:44官方账号arXiv cs.AI@Maonan Wang, Zhengyan Huang, Kemou Jiang, Yuhang Fu, Jiayue Zhu, Yuxin Cai, Xingchen Zou, Qiaosheng Zhang, Yi Yu, Ding Wang, Xi Chen, Ben M. Chen, Yuxuan Liang, Zhiyong Cui, Man On Pun, Yirong Chen
OmniTraffic是一个基于12个真实十字路口重建3D环境的可控生成管道，可编辑车道拓扑、信号相位等参数。它产出800万VQA样本和3000个人工验证的测试集，覆盖场景感知、多视角推理和决策支持三个层级。评估11个前沿MLLM显示人类与模型间存在显著差距，尤其在拓扑和时空推理任务上。基于OmniTraffic模拟数据微调轻量级MLLM后，在真实场景中性能得到提升。
论文OmniTraffic交通推理MLLM多模态3D重建
推荐理由：想研究交通场景的多模态推理？OmniTraffic提供了大规模可控数据集和基准，还能用模拟数据微调小模型提升真实表现，很实用。
原文
6月4日
10:34
10:34官方账号arXiv cs.AI@Jingyuan Chen, Sheng Jin, Haopeng Sun, Wentao Liu, Chen Qian
UniCAD 是一个面向计算机辅助设计（CAD）的多模态学习基准，涵盖点云到CAD重建、文本/图像到CAD生成以及CAD问答等任务。同时提出的 UniCAD-MLLM 是一个通用多模态大语言模型，能端到端处理文本、图像、草图和点云，在单一框架内完成异构任务。实验表明，UniCAD-MLLM 在 UniCAD 和 Fusion360 基准上均达到最先进水平，超越现有任务专用和多任务基线。该工作填补了CAD领域缺乏统一多模态基准的空白，将开源数据集、代码和预训练模型。
论文CAD多模态基准大语言模型3D重建
推荐理由：CAD 研究者终于有了统一的多模态基准和通用模型，做3D设计、CAD生成或问答的团队可以直接用 UniCAD-MLLM 替代多个专用模型，建议关注开源资源。
原文
6月1日
10:40
10:40官方账号arXiv cs.AI@Eric Liang
该论文提出一种自适应特征优化视觉前端，用于3D场景重建。传统方法使用固定特征阈值和均匀特征预算，在重复纹理、低视差区域会浪费计算资源。新方法通过纹理、重复性、独特性、三角测量角度和空间覆盖度对候选特征评分，并为每视图分配特征预算以最大化有效轨迹。在走廊、立面、物体桌面和杂乱场景的测试中，自适应策略相比随机、仅纹理和均匀网格基线，获得了最佳质量感知完整性和最低重建RMSE。该方法可作为模块化前端策略，让经典和学习的3D重建管道更智能地选择计算投入的视觉证据。
论文3D重建特征优化自适应策略计算机视觉论文
推荐理由：做3D重建的团队终于有了一个能自动节省计算资源的特征选择策略——不用再手动调阈值或忍受均匀采样的浪费，直接集成到现有管线就能提升重建精度，值得一试。
原文
5月29日
11:07
11:07官方账号arXiv cs.AI@Sayan Paul, Sourav Ghosh, Siddharth Katageri, Soumyadip Maity, Sanjana Sinha, Brojeshwar Bhowmick
City-Mesh3R 提出了一种可扩展的框架，能从大规模无序图像集合中直接重建水密表面网格，解决了现有方法因几何不完整、表面不规则而无法用于仿真的问题。该方法采用分治策略：先通过拓扑图像聚类和稀疏SfM构建城市地图，再空间分区进行几何感知相机选择和稠密重建，最后拼接成全局网格。与传统依赖全局SfM点云初始化的方法不同，City-Mesh3R 实现了端到端的图像到网格重建，计算复杂度更低。实验表明，该方法能生成高保真、几何规则的水密网格，捕捉精细表面细节，且支持任意大规模场景的分布式处理。
论文3D重建城市级场景网格生成分治策略City-Mesh3R
推荐理由：城市级3D重建终于有了一个能直接用于仿真的方案——City-Mesh3R 解决了网格不完整和表面噪声的痛点，做自动驾驶仿真或数字孪生的团队值得关注。
原文
5月25日
11:14
11:14官方账号arXiv cs.AI@Shuhong Zheng, Michael Oechsle, Erik Sandström, Marie-Julie Rakotosaona, Federico Tombari, Igor Gilitschenski
精选
视觉几何Transformer在多视图3D重建中表现出色，但全局注意力层导致计算成本随输入序列长度二次增长，限制了可扩展性和效率。本文提出一种简单通用的策略：限制每个查询在全局注意力中交互的键/值令牌数量。通过两阶段框架实现有效令牌选择：帧间选择基于多样性策略确保场景覆盖，帧内选择利用注意力熵指导层感知稀疏化。实验表明，该方法在500张图像场景下加速超过85%，同时保持甚至提升基线性能，为视觉几何Transformer的未来应用提供了关键优化思路。
论文视觉几何Transformer令牌选择3D重建注意力机制加速优化
推荐理由：做3D重建或视觉Transformer的开发者，这篇论文用两阶段令牌选择解决了计算瓶颈，85%的加速效果值得直接参考实现。
原文
5月18日
11:44
11:44官方账号arXiv cs.AI@Yuqi Wu, Tianyu Hu, Wenzhao Zheng, Yuanhui Huang, Haowen Sun, Jie Zhou, Jiwen Lu
精选
IVGT提出了一种隐式视觉几何Transformer，能从无位姿的多视图图像中学习连续的神经场景表示。与现有方法预测显式点图不同，IVGT在规范坐标系中隐式建模连续几何，支持任意3D位置的连续空间查询。通过轻量解码器预测符号距离函数值和颜色，可直接提取连续表面几何，并渲染任意视角的RGB图、深度图和法线图。模型经多数据集联合训练，在网格/点云重建、新视角合成、深度/法线估计和相机位姿估计等任务上表现优异，展现了跨场景的泛化能力。
论文3D重建神经场景表示隐式几何Transformer无位姿多视图
推荐理由：做3D重建和神经渲染的团队终于有了一个无需相机位姿就能生成连续几何的通用方案——IVGT直接解决了显式点图冗余和几何不连续的老问题，做多视图重建的开发者值得一试。
原文
5月15日
10:54
10:54官方账号arXiv cs.AI@Jiaxin Wu, Yihao Pi, Yinling Zhang, Yuheng Li, Xueyan Zou
精选
生成式视频模型常被当作隐式世界模型，但现有评估方法依赖人工判断或学习评分器，难以诊断几何错误。研究者提出PDI-Bench框架，通过分割、点跟踪和单目重建，将生成视频中的物体提升到3D世界坐标，计算尺度-深度对齐、3D运动一致性和3D结构刚性三个维度的残差。配套的PDI-Dataset覆盖多种几何约束场景，测试发现当前最先进的视频生成器存在一致的几何特定失败模式，这些模式不被常见感知指标捕获。该框架为迈向物理可信的视频生成提供了诊断信号。
论文视频生成世界模型几何一致性评估框架3D重建
推荐理由：视频生成模型常被当作世界模型，但几何一致性是硬伤——PDI-Bench用定量方法暴露了现有模型在3D结构上的系统性失败，做视频生成或世界模型研究的团队值得用它来诊断自己的模型。
原文
5月12日
19:11
19:11官方账号arXiv cs.AI@Anna C. Doris, Jacob Thomas Sony, Ghadi Nehme, Era Syla, Amin Heyrani Nobari, Faez Ahmed
CADBench 是一个统一的多模态基准测试，用于评估从图像或3D观测中恢复可编辑CAD程序的能力。该基准包含18,000个样本，涵盖六个基准家族（基于DeepCAD、Fusion 360等）、五种输入模态（如网格、渲染图）和六项指标（几何保真度、可执行性等）。评估了11个CAD专用及通用视觉语言系统，生成超过140万CAD程序。结果显示，在理想输入下专用模型优于通用模型，但模型在几何复杂度和模态变化下表现脆弱，且指标排名不一致。该基准旨在成为可编辑3D重建和多模态CAD理解的诊断工具。
论文CAD程序生成多模态基准测试3D重建工程自动化
推荐理由：为学界和工业界提供了一个标准化的评估框架，有助于澄清现有CAD程序生成方法的优劣及失败模式，尤其对工程设计自动化领域具有直接参考价值。
原文
5月11日
22:18