超越2D匹配:统一单阶段框架实现几何感知跨视角目标地理定位

Beyond 2D Matching: A Unified Single-Stage Framework for Geometry-Aware Cross-View Object Geo-Localization

精选理由

想搞跨视角目标定位?这篇论文用GAGeo和22万对数据集解决了2D匹配的局限,还能零样本从地面转到无人机视角。

AI 摘要

现有跨视角目标地理定位方法依赖2D外观匹配,受限于缺少几何元数据的数据集。研究者提出GAGeo框架,基于置换等变3D基础模型π³,在单次前向传播中联合预测边界框、分割掩码和相机位姿。新构建的GeoTerra数据集包含超过22万对地面-卫星和无人机-卫星图像,提供多模态提示(点、框、蒙版)和相机位姿。引入的对比损失利用卫星视图作为通用锚点,实现零样本地面到无人机定位。实验表明该方法在未见场景和新型跨视角设置中显著优于现有方法。

AI 翻译 · 中文

现有跨视角目标地理定位方法依赖2D外观匹配,受限于缺少几何元数据的数据集。研究者提出GAGeo框架,基于置换等变3D基础模型π³,在单次前向传播中联合预测边界框、分割掩码和相机位姿。新构建的GeoTerra数据集包含超过22万对地面-卫星和无人机-卫星图像,提供多模态提示(点、框、蒙版)和相机位姿。引入的对比损失利用卫星视图作为通用锚点,实现零样本地面到无人机定位。实验表明该方法在未见场景和新型跨视角设置中显著优于现有方法。

arXiv cs.AICross-view object geo-localization (CVOGL) aims to locate a target object from a query view (e.g., ground or drone) within a geo-tagged reference image (e.g., satellite). Existing approaches heavily rely on 2D appearance