NAES 方法让冻结 CLIP 正确处理否定描述:COCO-MCQ 达 82.4%
论文提出 Negation-Aware Evidence Scoring(NAES),针对冻结视觉语言模型无法正确处理否定描述的问题:查询“没有烤面包机的厨房”反而会偏好含烤面包机的图片。方法核心是利用模型擅长肯定描述的不对称性,将否定描述重构为肯定查询再组合证据。 具体流程分两步:轻量文本分解器 NegSplit 提取被否定的片段和剩余的肯定上下文。若存在肯定剩余内容,NAES 匹配该内容并对否定对象施加基于存在性的修正;若没有肯定内容,则查询被否定对象的存在情况,围绕参考点对证据进行反射式评分。 实验结果:使用 LAION-2B CLIP 在 COCO-MCQ 达 82.4%、VOC2007-MCQ 达 93.0%,超过 KTN 2.9 和 0.9 个百分点;使用 OpenAI CLIP 时超过 PeakPatch 4.4 和 26.0 个百分点。方法还提升了 COCO 和 MSR-VTT 上的否定描述检索效果,且适用于 SigLIP、SigLIP 2 及更大的 CLIP 编码器。
Current read
CLIP 这类模型一直分不清“有 X”和“没有 X”,这篇论文只加一个轻量分解器 NegSplit 就解决,不用微调模型。COCO-MCQ 提到 82.4%,比 KTN 高近 3 个点,还能直接用在 SigLIP 上。做图像检索或多模态匹配的开发者可以直接套用这套打分思路。
Evidence
11 sourcesConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.