精选理由
这篇论文用HIVE框架系统分析了VLM的幻觉后推理，发现幻觉caption反而提升部分视觉任务准确率，值得看看他们怎么设计和验证的。
HIVE是用于研究视觉语言模型幻觉后推理（PHR）的评估基础设施，支持在忠实caption与幻觉caption之间进行受控比较。在9个任务和9个模型上的实验表明，幻觉caption在视觉语言任务上平均提升准确率，而纯文本任务的影响有限且不稳定。进一步分析显示，幻觉线索扩展了语义覆盖范围并重塑推理动态，同时保持稳定的推理路径。该研究揭示了视觉语言模型中幻觉语义进入推理阶段后的具体影响机制。
AI 翻译 · 中文
HIVE是用于研究视觉语言模型幻觉后推理（PHR）的评估基础设施，支持在忠实caption与幻觉caption之间进行受控比较。在9个任务和9个模型上的实验表明，幻觉caption在视觉语言任务上平均提升准确率，而纯文本任务的影响有限且不稳定。进一步分析显示，幻觉线索扩展了语义覆盖范围并重塑推理动态，同时保持稳定的推理路径。该研究揭示了视觉语言模型中幻觉语义进入推理阶段后的具体影响机制。
Hallucinations in vision language models (VLMs) are commonly treated as semantic errors, yet they often arise from partial or ambiguous visual evidence. Prior work mainly focuses on detecting or suppressing hallucination…