精选理由
这篇论文用熵过滤噪声、子模选择保留细节，在VLM加速上效果不错，适合想优化推理效率的人看看。
视觉Token剪枝是加速VLM的关键策略，但现有方法在密集指令和细粒度查询下难以保留关键线索。本文提出EADP框架，首先利用统计熵量化并过滤文本噪声，得到细粒度的指令相关性分数；然后通过子模最大化问题与空间先验实现非冗余的Token选择。实验表明EADP在严格Token预算下提高了VLM的精度-效率平衡，在多个多模态基准上达到SoTA性能。
AI 翻译 · 中文
视觉Token剪枝是加速VLM的关键策略，但现有方法在密集指令和细粒度查询下难以保留关键线索。本文提出EADP框架，首先利用统计熵量化并过滤文本噪声，得到细粒度的指令相关性分数；然后通过子模最大化问题与空间先验实现非冗余的Token选择。实验表明EADP在严格Token预算下提高了VLM的精度-效率平衡，在多个多模态基准上达到SoTA性能。
Visual token pruning is a crucial strategy for accelerating VLMs by compressing redundant image patches, yet existing methods often fail to preserve critical cues under dense instructions and fine-grained queries. In thi…