09:30arXiv cs.AI@Sweta Mahajan, Sukrut Rao, Jiahao Xie, Alexander Koller, Bernt SchieleCLIP等视觉语言模型存在图文嵌入对齐差的问题,因为图像包含的信息远超其标题描述。TEVI框架利用稀疏自编码器解耦图像嵌入,并训练掩码模块根据标题选择性重建嵌入,从而保留标题描述的特征、丢弃无关信息。在合成标题的受控实验中,TEVI能有效保留标题描述的属性。在MS COCO、Flickr、IIW、DOCCI等基准测试中,TEVI提升了检索性能,尤其在长标题任务上增益更明显,同时增强了RoCOCO基准的鲁棒性。论文CLIP稀疏自编码器图文对齐检索增强视觉语言模型推荐理由:CLIP用户常遇到图文检索不准的痛点,TEVI用稀疏自编码器精准对齐嵌入,做多模态检索或视觉问答的团队可以直接参考其方法改进模型。原文