精选理由
这篇论文系统测了多模态思维链到底行不行,发现它在视觉定位上帮倒忙,但对数学推理很管用,还揭示了视觉瓶颈。做多模态的值得看。
该研究系统评估12项多模态任务,涵盖感知与推理两类,使用14个非推理模型和8个推理模型。结果显示,CoT在视觉定位、目标计数等感知任务中会导致性能下降,但在数学、科学和多图推理中有效。开源多模态推理模型整体提升有限,可能因过度侧重数学。当前多模态CoT存在'轻看,重思'模式,视觉反省持续减弱,而口头反思相对保持。视觉推理仍是主要瓶颈。
AI 翻译 · 中文
该研究系统评估12项多模态任务,涵盖感知与推理两类,使用14个非推理模型和8个推理模型。结果显示,CoT在视觉定位、目标计数等感知任务中会导致性能下降,但在数学、科学和多图推理中有效。开源多模态推理模型整体提升有限,可能因过度侧重数学。当前多模态CoT存在'轻看,重思'模式,视觉反省持续减弱,而口头反思相对保持。视觉推理仍是主要瓶颈。
Chain-of-Thought (CoT) has become a standard method for improving reasoning capabilities in large language models (LLMs) by eliciting step-by-step thinking, but its effectiveness in multimodal tasks remains unclear. In t…