DominoBench 发布:30 个多模态模型看图预测物理连锁反应无一过关
DominoBench 是一个基于物理模拟器判定结果的新基准,包含 854 道题、427 组最小对,测试多模态模型能否从静态图片预测斜坡、摆锤、跷跷板和多米诺骨牌等 2D 刚体场景的连锁反应。团队测试了 10 个模型家族共 30 个模型,结论是没有任何模型能在无辅助条件下可靠预测结果。 机制上,每道题设计为改变 1-3 个格子的某个量就决定一个人是否幸存,并配有四级提示阶梯,最后一级给出决定结局的精确计算。Anthropic、Google 和 OpenAI 的前沿模型在无提示时对关键人物的判断正确率不超过 72%,成对题目同时答对的比例不超过 34%。给出文本形式的精确几何信息帮助甚微,但当把决定性计算及其所需量(包括静态图无法显示的速度)写出后,同一批模型达到 82-92%,而小型开源模型仍接近随机水平。 这说明失败出在定量计算环节:最强模型能在被给出决定性量时使用它,却无法自行得出。对需要规划或作用于物理世界的模型而言,流畅的场景描述并不能证明预测正确,DominoBench 正是检验模型能否自主找到并计算决定性量。
Current read
看图预测多米诺连锁反应,30 个模型全军覆没。GPT、Gemini、Claude 这些旗舰在纯看图时最多 72% 命中,但把决定性计算写出来后能到 82-92%,说明瓶颈在定量推理。做具身智能或机器人规划的开发者值得用这个基准测测自己的模型。
Evidence
11 sourcesConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.