TriViewBench:多视图结构推理的受控复杂度基准

TriViewBench: Controlled Complexity Scaling for Multi-View Structural Reasoning in MLLMs

精选理由

这篇论文用TriViewBench测了18个多模态模型,发现它们都在多视图推理上崩得厉害,CoT也救不了。想了解当前MLLM的结构推理极限,可以看看。

AI 摘要

TriViewBench 是一个基于合成3D场景的受控多视图视觉推理基准,包含1,923个场景和超过14K个问答对,分为4个复杂度级别和3个推理类别:局部决策、物体计数和全局恢复。评估18个开源和闭源MLLMs发现,所有模型能力排序一致(局部决策>物体计数>全局恢复),且随着复杂度增加性能单调下降:局部决策下降12.11%,物体计数下降59.14%,全局恢复骤降80.02%。错误分析表明,单视图任务中因遮挡导致欠计数,多视图任务因跨视角身份混淆导致过计数。Chain-of-Thought提示几乎无收益(Δ=-0.16%),表明瓶颈在于跨视角空间表示而非推理策略。

AI 翻译 · 中文

TriViewBench 是一个基于合成3D场景的受控多视图视觉推理基准,包含1,923个场景和超过14K个问答对,分为4个复杂度级别和3个推理类别:局部决策、物体计数和全局恢复。评估18个开源和闭源MLLMs发现,所有模型能力排序一致(局部决策>物体计数>全局恢复),且随着复杂度增加性能单调下降:局部决策下降12.11%,物体计数下降59.14%,全局恢复骤降80.02%。错误分析表明,单视图任务中因遮挡导致欠计数,多视图任务因跨视角身份混淆导致过计数。Chain-of-Thought提示几乎无收益(Δ=-0.16%),表明瓶颈在于跨视角空间表示而非推理策略。

arXiv cs.AIMultimodal Large Language Models (MLLMs) demonstrate strong performance on standard visual question answering benchmarks, yet their scalability under controlled structural complexity remains poorly understood. We introdu