精选理由
做具身智能、机器人或空间推理的团队,ESI-Bench 直接点出了当前 MLLM 在主动探索和行动决策上的致命短板,看完会重新思考你的感知-行动闭环设计。
研究团队提出 ESI-Bench,一个基于 OmniGibson 的具身空间智能基准,涵盖 10 类任务和 29 个子类,要求智能体主动探索而非被动感知。实验发现,主动探索显著优于被动多视角,但大多数失败源于“行动盲视”——错误行动导致错误观察,进而引发级联错误。即使引入 3D 空间理解,不完美的 3D 表示反而比 2D 基线更差。人类研究显示,模型缺乏元认知能力,过早下结论且不修正信念,暴露了感知与行动闭环中的关键鸿沟。
AI 翻译 · 中文
研究团队提出 ESI-Bench,一个基于 OmniGibson 的具身空间智能基准,涵盖 10 类任务和 29 个子类,要求智能体主动探索而非被动感知。实验发现,主动探索显著优于被动多视角,但大多数失败源于“行动盲视”——错误行动导致错误观察,进而引发级联错误。即使引入 3D 空间理解,不完美的 3D 表示反而比 2D 基线更差。人类研究显示,模型缺乏元认知能力,过早下结论且不修正信念,暴露了感知与行动闭环中的关键鸿沟。
Spatial intelligence unfolds through a perception-action loop: agents act to acquire observations, and reason about how observations vary as a function of action. Rather than passively processing what is seen, they activ…