浙江大学推出 SpaceCast-Bench:最强视觉模型空间预测仅 58%,人类 87%
Zhejiang University's SpaceCast-Bench: Best VLM Scores 58% at Predicting Spatial Change, Humans 87%
浙江大学这个新基准专挑 VLM 的痛点测:场景变了,模型能不能推出空间关系怎么变。结果 21 个模型里最强的只拿到 58%,人类是 87%。做机器人、具身智能或视频方向的同学可以用它来量化自家模型到底差在哪。
浙江大学团队发布 SpaceCast-Bench,专门测试视觉语言模型(VLM)在场景发生变化后预测空间关系的能力。在参与评测的 21 个模型中,成绩最好的模型得分 58.0%,与人类 87.2% 的水平存在近 30 个百分点的差距。
该基准的核心机制是:先给模型呈现一个初始场景,再给出变化条件,要求模型推断变化后物体之间的空间关系会如何演变,而不只是描述当前画面。这类任务考察的是对物理世界动态的内在建模,而非静态图像理解,因此多数依赖识别和描述能力的 VLM 表现明显下滑。
评测结果显示,即便在静态视觉问答上表现接近人类的顶级模型,在空间变化预测上仍未过 60% 这条线,说明当前 VLM 在世界模型和物理推理层面还有明显短板。对做具身智能、机器人或视频生成的团队来说,SpaceCast-Bench 提供了一个可量化的短板检测工具。
Zhejiang University's SpaceCast-Bench: Best VLM Scores 58% at Predicting Spatial Change, Humans 87%
Zhejiang University's SpaceCast-Bench tests whether VLMs can predict spatial relations after a scene changes. The best of 21 models scored 58.0% against 87.2% for humans.
This report is categorized under AITOP's "Papers" desk, focusing on China's AI industry and domestic foundation model ecosystem. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include SpaceCast-Bench, VLM, 空间推理, 基准测试.
Primary source verification: published directly by Pandaily with first-party authority.