论文精选

SPACENUM:重新审视VLMs的空间数值理解能力

SPACENUM: Revisiting Spatial Numerical Understanding in VLMs

精选理由

做具身智能或空间推理的开发者会发现,当前VLMs的数值输出可能只是“看起来对”,实际缺乏空间感知——这项研究用严谨实验戳破了这个盲区,值得关注。

AI 摘要

该研究通过SpaceNum框架系统评估了视觉语言模型(VLMs)在空间数值理解上的表现,包括动态探索和静态布局两种场景。实验发现,当前VLMs在将视觉空间结构与语言数值表示进行映射时,表现接近随机猜测,严重依赖浅层空间线索。模型难以建立稳定的坐标感知表示,也无法从视觉观察中抽象出结构化空间布局。即使加入显式推理或微调,提升也有限。这项研究揭示了VLMs在具身环境中输出数值(如动作幅度、空间坐标)时,可能并未真正理解其空间含义。

AI 翻译 · 中文

该研究通过SpaceNum框架系统评估了视觉语言模型(VLMs)在空间数值理解上的表现,包括动态探索和静态布局两种场景。实验发现,当前VLMs在将视觉空间结构与语言数值表示进行映射时,表现接近随机猜测,严重依赖浅层空间线索。模型难以建立稳定的坐标感知表示,也无法从视觉观察中抽象出结构化空间布局。即使加入显式推理或微调,提升也有限。这项研究揭示了VLMs在具身环境中输出数值(如动作幅度、空间坐标)时,可能并未真正理解其空间含义。

arXiv cs.AIVision-Language Models (VLMs) are increasingly deployed in embodied environments, where they need produce numerical outputs such as action magnitudes and spatial coordinates. Although these numbers appear meaningful, it