Chinese contentNAES 方法让冻结 CLIP 正确处理否定描述:COCO-MCQ 达 82.4%
CLIP 这类模型一直分不清“有 X”和“没有 X”,这篇论文只加一个轻量分解器 NegSplit 就解决,不用微调模型。COCO-MCQ 提到 82.4%,比 KTN 高近 3 个点,还能直接用在 SigLIP 上。做图像检索或多模态匹配的开发者可以直接套用这套打分思路。
CLIP 这类模型一直分不清“有 X”和“没有 X”,这篇论文只加一个轻量分解器 NegSplit 就解决,不用微调模型。COCO-MCQ 提到 82.4%,比 KTN 高近 3 个点,还能直接用在 SigLIP 上。做图像检索或多模态匹配的开发者可以直接套用这套打分思路。