精选理由
CLIP用户常遇到图文检索不准的痛点，TEVI用稀疏自编码器精准对齐嵌入，做多模态检索或视觉问答的团队可以直接参考其方法改进模型。
CLIP等视觉语言模型存在图文嵌入对齐差的问题，因为图像包含的信息远超其标题描述。TEVI框架利用稀疏自编码器解耦图像嵌入，并训练掩码模块根据标题选择性重建嵌入，从而保留标题描述的特征、丢弃无关信息。在合成标题的受控实验中，TEVI能有效保留标题描述的属性。在MS COCO、Flickr、IIW、DOCCI等基准测试中，TEVI提升了检索性能，尤其在长标题任务上增益更明显，同时增强了RoCOCO基准的鲁棒性。
AI 翻译 · 中文
CLIP等视觉语言模型存在图文嵌入对齐差的问题，因为图像包含的信息远超其标题描述。TEVI框架利用稀疏自编码器解耦图像嵌入，并训练掩码模块根据标题选择性重建嵌入，从而保留标题描述的特征、丢弃无关信息。在合成标题的受控实验中，TEVI能有效保留标题描述的属性。在MS COCO、Flickr、IIW、DOCCI等基准测试中，TEVI提升了检索性能，尤其在长标题任务上增益更明显，同时增强了RoCOCO基准的鲁棒性。
Vision-language models such as CLIP are highly useful for diverse tasks due to their shared image-text embedding space. Despite this, the image and text embeddings are often poorly aligned, affecting downstream performan…