论文精选

CVSearch:无需训练,自适应视觉搜索提升高分辨率图像感知

CVSearch: Empowering Multimodal LLMs with Cognitive Visual Search for High-Resolution Image Perception

精选理由

高分辨率图像感知是 MLLMs 落地的硬骨头,CVSearch 用零训练成本解决了覆盖率和效率的矛盾,做多模态感知或视觉问答的团队可以直接拿来用。

AI 摘要

高分辨率图像感知是当前多模态大模型(MLLMs)的关键瓶颈。现有视觉搜索方法在覆盖率和效率之间难以平衡:专家辅助搜索高效但易遗漏,扫描式搜索全覆盖但计算冗余。CVSearch 提出了一种无需训练的“评估-搜索”自适应框架,先尝试专家辅助搜索,失败时再触发语义感知扫描,通过语义引导的自适应分块避免物体碎片化,并利用视觉复杂度驱动的动态自底向上搜索实现局部细节的高效迭代探索。实验表明,CVSearch 在高分辨率基准上达到最先进精度,同时显著提升搜索效率。代码已开源。

AI 翻译 · 中文

高分辨率图像感知是当前多模态大模型(MLLMs)的关键瓶颈。现有视觉搜索方法在覆盖率和效率之间难以平衡:专家辅助搜索高效但易遗漏,扫描式搜索全覆盖但计算冗余。CVSearch 提出了一种无需训练的“评估-搜索”自适应框架,先尝试专家辅助搜索,失败时再触发语义感知扫描,通过语义引导的自适应分块避免物体碎片化,并利用视觉复杂度驱动的动态自底向上搜索实现局部细节的高效迭代探索。实验表明,CVSearch 在高分辨率基准上达到最先进精度,同时显著提升搜索效率。代码已开源。

arXiv cs.LGHigh-resolution (HR) image perception presents a key bottleneck for multimodal large language models (MLLMs). While visual search offers a promising solution, existing methods struggle with the trade-off between coverage