AITOP

空间推理

共 20 条相关 AI 资讯
8月18日
10:04
10:04官方账号arXiv cs.AI@Yonghe Sun, Zhenjia Liu, Hua Liao, Wenjia Xu, Nai Yang, Weihua Dong, Zhiwei Wei
研究发现，色调选择对基础模型的空间推理影响有限且不稳定，而打乱序列配色顺序会显著降低模型性能，尤其在比较和排序任务中。研究构建了包含5,760张地图和28,800个问题的基准，评估21个开源及专有多模态模型。降低明度对比度同样持续损害推理能力，而过度增加对比度仅带来边际收益。LoRA微调提升了整体准确率，但保留了这些相对敏感性。实验还表明，错误源于颜色与图例解码、空间推理以及主题属性与空间结构的整合。
论文等值线图空间推理基础模型
推荐理由：论文用5,760张地图测了21个模型，发现配色顺序和对比度比色调更影响AI读图。做地图可视化或调模型时值得看一眼。
原文
8月13日
17:48
17:48官方账号arXiv cs.AI@Zile Zhou, Huining Yuan, Weichen Zhang, Xinlei Chen, Xiao-ping Zhang
SCOUT 提出结构化思维链框架，显式建模 3D 环境感知以增强空间理解。其强化学习算法引入多目标过程奖励和定制的优势估计方法，实现推理轨迹的细粒度信用分配。研究者构建了 SCOUT-24k 结构化空间推理数据集。SCOUT-3B 在通用空间基准上提升 16.85%，在复杂空间推理任务上提升 6.3%。SCOUT-7B 超出 GPT-4o 4.28%，且能泛化到多图像和视频场景。
论文SCOUT空间推理VLM
推荐理由：空间推理一直是视觉语言模型的硬伤，SCOUT 用新的训练方法把 3D 理解做得更准，7B 规模直接超过 GPT-4o，还能迁移到视频上。
原文
01:27
01:27官方账号Microsoft Research@MSFTResearch
精选
微软研究院发布MindTopo基准测试，专门检验AI模型对拓扑关系的理解能力。该基准通过路径、围栏、绳结等图形化任务，考察模型在空间推理和规划上的表现。MindTopo旨在发现当前模型在拓扑认知层面的短板，为后续改进提供测试依据。
AI模型MindTopo微软拓扑推理
推荐理由：微软出了个新基准MindTopo，专测AI懂不懂拓扑关系，像路径绕圈、绳结这种空间题，看看模型会不会犯晕。
原文
8月10日
11:27
11:27官方一手arXiv: OpenAI@Ivan Majic, Zexian Huang, Franziska Hübl, Krzysztof Janowicz, Meilin Shi, Mina Karimi, Zilong Liu, Alexandra Fortacz-Lazan
论文提出一种模态转移任务，要求LMM先用文本描述规则网格中的彩色方块图像，再用新的LMM实例根据文本描述重新生成原空间场景。实验采用OpenAI的近期LMM，结果显示其在重新生成简单彩色方块网格图像时仍存在困难。研究表明，LMM的强健地理空间理解需要严格的多模态对齐，当前模型在图像和文本模态间转移空间信息的能力仍是瓶颈。
论文LMMOpenAI多模态
事件专题
推荐理由：这篇论文拿彩色方块网格考OpenAI的多模态模型，让它们看图写话再画图，结果画不对，做自动GIS得先解决这问题。
原文
10:42
8月1日
03:20
7月24日
12:09
12:09官方账号arXiv cs.LG@Wenhao Li, Xueying Jiang, Quanhao Qian, Deli Zhao, Ran Xu, Shijian Lu, Gongjie Zhang
现有视觉语言模型（VLM）在处理3D任务时因缺乏空间理解而表现受限。研究者提出VLM-IE3D框架，通过从RGB视频中学习隐式几何令牌（IGTs）和显式几何令牌（EGTs），增强3D空间感知能力。该框架采用3D感知适配器融合两种几何表示与2D视觉信息，无需额外3D输入。在3D视频检测、3D视觉定位、3D密集描述和空间推理等任务上，VLM-IE3D均取得一致性优越性能。代码和模型已开源。
论文VLM-IE3DVLMs3D感知
推荐理由：这篇论文搞了个VLM-IE3D，让普通视觉语言模型看RGB视频就能学会3D空间感，不用额外3D设备，而且好几个3D任务都做得更好。
原文
7月21日
10:41
6月23日
12:00
12:00官方一手arXiv: DeepSeek@Yuhan jiang, Peng Luo, Liqiu Meng
精选
新基准Lost in Aggregation将迷宫导航分解为Fine（局部通行）、Meso（交叉口拓扑）和Macro（全局方向）三个认知层级。在1050个拓扑标注迷宫（3x3至30x30共7种尺寸、3个难度级别）上评估GPT-4o、DeepSeek-V3和Llama-3.3-70B。结果发现：端到端导航在10x10以上几乎完全失败，但单独测试各层级时模型在30-75%水平。首错分析定位59%失败在Meso层级、39%在Fine层级，全局方向仅1%。层次化规划（仅在交叉口查询LLM、配合显式单元格提示）将GPT-4o在中等尺寸上的成功率提升最多92个百分点，但30x30时又遇到扩展瓶颈。基准代码和迷宫已开源。
AI模型Lost in AggregationGPT-4oDeepSeek-V3
推荐理由：想知道LLM为什么在导航任务中迷路吗？这个基准把问题拆成三个层级，告诉你59%的锅在交叉口选择，39%在局部感知，方向判断几乎不犯错。对做空间推理的开发者非常有用。
原文
6月18日
10:56
10:56官方账号arXiv cs.LG@Bartłomiej Baranowski, Dave Zhenyu Chen, Matthias Nießner
OneCanvas将多视角patch特征投影到等距柱状全景画布，并添加3D坐标的位置嵌入。无需复杂几何编码器或大量训练预算。在SQA3D和VSI-Bench上达到SOTA准确率，在SPBench上泛化到分布外数据。训练计算量比最强竞争方法少一个数量级。
论文OneCanvasSQA3DVSI-Bench
推荐理由：OneCanvas用全景投影做3D理解，训练少10倍，在SQA3D上SOTA，适合机器人和具身AI。
原文
6月12日
10:51
10:51官方账号arXiv cs.AI@Seokju Cho, Ryo Hachiuma, Abhishek Badki, Hang Su, Byung-Kwan Lee, Chan Hee Song, Sifei Liu, Subhashree Radhakrishnan, Seungryong Kim, Yu-Chiang Frank Wang, Min-Hung Chen
SpatialClaw 提出了一种无需训练的空间推理框架，通过将代码作为动作接口，让 VLM 智能体能够逐步执行并观察中间结果，从而灵活组合感知和几何操作。现有空间智能体要么单次执行代码（无法中途调整），要么依赖结构化工具调用（灵活性不足），限制了复杂 3D/4D 推理。SpatialClaw 维护一个状态化 Python 内核，预加载输入帧和感知原语，智能体每步写一个可执行单元，基于之前输出调整策略。在 20 个空间推理基准上，SpatialClaw 平均准确率 59.9%，比最新空间智能体高 11.2 个百分点，且跨 6 个 VLM 骨干网络表现一致。
论文空间推理VLM/视觉语言模型代码接口
推荐理由：做 3D 视觉或机器人空间推理的团队，终于有了一个无需微调就能显著提升 VLM 空间理解能力的框架——SpatialClaw 用代码接口解决了灵活性和中间反馈的痛点，值得在现有模型上直接试试。
原文
6月10日
00:09
6月9日
11:48
11:48官方账号arXiv cs.AI@Hongcheng Gao, Hailong Qu, Jingyi Tang, Jiahao Wang, Zihao Huang, Hengkang Qiao, Shihong Huang, Junming Yang, Yi Li, Hongyixuan Yuan, Wenjie Li, Bohan Zeng, Wenbo Li, Bo Wang, Jianhui Liu, Olive Huang, Haoyang Huang, Wentao Zhang, Guoqing Huang, Nan Duan, Yinpeng Dong
精选
多模态大模型在物理世界中的空间推理能力至关重要，但现有基准多依赖静态问答或特定模拟器，无法评估真实交互场景。研究者提出SpatialWorld，一个统一基准，整合8种异构仿真后端，包含760个人工标注任务，覆盖家务、旅行、社交协作等领域。智能体需在仅视觉部分可观测条件下主动收集证据，并通过统一文本接口做出决策。评估15个先进智能体发现，最强模型GPT-5平均任务成功率仅17.4%，开源模型Qwen-3.5为14.1%，表明主动探索和长程规划仍是瓶颈。
论文空间推理多模态大模型基准测试
事件专题
推荐理由：做多模态智能体或空间推理研究的团队，这个基准直接暴露了当前模型在真实交互任务上的短板——GPT-5都只有17.4%成功率，值得用来检验自家模型。
原文
6月3日
10:58
10:58官方账号arXiv cs.AI@Mahtab Bigverdi, Lindsey Li, Weikai Huang, Yiming Liu, Jaemin Cho, Jieyu Zhang, Tuhin Kundu, Chris Dangjoo Kim, Zelun Luo, Linda Shapiro, Ranjay Krishna
多模态语言模型在空间推理任务中常因无法直接观察关键信息而表现不佳。研究者提出 Imaginative Perception Tokens (IPT)，一种中间感知表征，让模型能推断未观察到的空间结构，如从不可见视角看物体、追踪遮挡路径等。在 Perspective Taking、Path Tracing 和 Multiview Counting 三个任务上，IPT 监督显著提升空间推理准确率，在 MVC 上提升 3.4%，且优于文本思维链训练。研究发现文本思维链在空间计算中可能因模态不匹配而降低性能，而 IPT 提供了更有效的监督信号。该方法无需在推理时生成图像，即可产生可解释的中间表征，提升泛化能力。
论文空间推理多模态模型Imaginative Perception Tokens
推荐理由：空间推理是多模态模型的短板，IPT 提供了一种不依赖文本思维链的监督方式，做视觉推理或空间理解的团队可以直接参考论文方法。
原文
6月2日
11:11
11:11官方账号arXiv cs.AI@Oleksandr Nikitin
PlanarBench 是一个新基准，通过让大语言模型根据边列表绘制平面图的 ASCII 艺术来评估其空间推理能力。该任务通过随机排列边顺序、方向和节点标签来防止记忆。研究测试了 91 个模型在 199 个最简单的非异构连通平面图（2-7 个节点）上的表现。关键发现是边数比节点数更能预测任务难度（相关系数 r=-0.85），这一结论在之前的 LLM 图基准中未被报告。
论文空间推理基准测试大语言模型
推荐理由：这个基准揭示了 LLM 在空间推理上的真实短板，做模型评估或研究空间智能的团队值得关注——边数作为难度指标的新发现可能改变未来基准设计。
原文
5月30日
16:46
16:46Stanford AI Lab@StanfordAILab
斯坦福AI实验室（SAIL）发布了新基准Theory of Space，旨在测试基础模型是否能够通过主动探索来构建、修正和利用空间信念（即心智地图），而不仅仅是被动处理给定的观察数据。该基准挑战AI在未知环境中主动导航、推理空间关系并更新认知模型的能力。这一研究对于推动AI在机器人、自动驾驶等需要空间理解领域的自主性具有重要意义。
论文空间推理基准测试主动探索
推荐理由：做机器人或空间AI的开发者值得关注——这个基准直接测试模型能否像人类一样主动探索并建立空间认知，而不是被动接收数据，看完会对当前模型的局限性有更清晰的认识。
原文
5月25日
11:13
11:13官方账号arXiv cs.AI@Jianshu Zhang, Yijiang Li, Huifeixin Chen, Haoran Lu, Letian Xue, Bingyang Wang, Han Liu
精选
该研究通过SpaceNum框架系统评估了视觉语言模型（VLMs）在空间数值理解上的表现，包括动态探索和静态布局两种场景。实验发现，当前VLMs在将视觉空间结构与语言数值表示进行映射时，表现接近随机猜测，严重依赖浅层空间线索。模型难以建立稳定的坐标感知表示，也无法从视觉观察中抽象出结构化空间布局。即使加入显式推理或微调，提升也有限。这项研究揭示了VLMs在具身环境中输出数值（如动作幅度、空间坐标）时，可能并未真正理解其空间含义。
论文视觉语言模型空间推理数值理解
推荐理由：做具身智能或空间推理的开发者会发现，当前VLMs的数值输出可能只是“看起来对”，实际缺乏空间感知——这项研究用严谨实验戳破了这个盲区，值得关注。
原文
5月19日
14:23
14:23官方账号arXiv cs.AI@Yining Hong, Jiageng Liu, Han Yin, Manling Li, Leonidas Guibas, Li Fei-Fei, Jiajun Wu, Yejin Choi
精选72°
研究团队提出 ESI-Bench，一个基于 OmniGibson 的具身空间智能基准，涵盖 10 类任务和 29 个子类，要求智能体主动探索而非被动感知。实验发现，主动探索显著优于被动多视角，但大多数失败源于“行动盲视”——错误行动导致错误观察，进而引发级联错误。即使引入 3D 空间理解，不完美的 3D 表示反而比 2D 基线更差。人类研究显示，模型缺乏元认知能力，过早下结论且不修正信念，暴露了感知与行动闭环中的关键鸿沟。
论文具身智能空间推理感知-行动闭环
推荐理由：做具身智能、机器人或空间推理的团队，ESI-Bench 直接点出了当前 MLLM 在主动探索和行动决策上的致命短板，看完会重新思考你的感知-行动闭环设计。
原文
11:42
11:42官方账号arXiv cs.AI@Junming Liu, Yuqi Li, Yifei Sun, Maonan Wang, Piotr Koniusz, Yirong Chen, Ding Wang
精选
视觉语言模型（VLM）在空间推理上仍存在脆弱性，即使能正确回答原始输入，也可能在变换后失败。为此，研究者提出SAGE（Spatial Alignment via Geometric Evolution），一种自进化框架，通过几何和语言对偶操作强制VLM保持逻辑一致性。SAGE将一致性作为GRPO训练的辅助奖励，并动态调整操作池以聚焦最具信息量的信号。该方法模型无关、数据高效，可作为轻量后训练阶段应用于任何VLM。实验表明，SAGE在视频和空间推理基准上持续优于强基线，并提升了对未见数据的泛化能力。
论文空间推理视觉语言模型自进化训练
推荐理由：空间推理是VLM的硬伤，SAGE用自进化训练解决了这个痛点，做多模态模型训练或空间理解应用的团队可以直接参考方法。
原文
11:33
11:33官方账号arXiv cs.AI@Yajing Zhou, Xiangyu Kong
精选
该论文揭示了多模态大语言模型（MLLM）在空间推理中存在的“笛卡尔幻觉”——依赖文本概率分布而缺乏真正的3D拓扑理解。作者设计了一个新颖的视听任务：让智能体A推断智能体B对A相对位置的估计，以测试MLLM的二阶心智理论能力。为解决此问题，他们提出了“锚定具身空间分解思维链”，引导模型先建立B的局部坐标系，再根据A是否在B视野内动态加权视觉和听觉模态。实验表明，当前MLLM在零样本下准确率仅42%，而该感知受限推理链显著优于纯自我中心或他中心基线。这项工作暴露了MLLM空间推理的当前极限，并为具身AI中的认知模态感知推理建立了基础范式。
论文多模态大模型空间推理心智理论
推荐理由：这篇论文戳破了MLLM空间推理的泡沫——它们并不真正理解3D世界。做具身AI、多智能体系统或空间推理的开发者，看完会重新评估模型能力边界。
原文