09:18
官方账号arXiv cs.LG@Xingyu Zhu, Huanshen Wu, Shuo Wang, Beier Zhu, Jiannan Ge, Jiaheng Zhang, Long Chen
推荐理由：这篇论文用最优传输做分布对齐来对抗扰动，不用改模型结构，挺实用的思路。
RITA
共 1 条相关 AI 资讯
7月13日
09:18
预训练的视觉语言模型如CLIP在零样本泛化上表现优异，但在对抗扰动下性能显著下降。现有测试时自适应方法依赖样本级置信度启发式，无法区分对抗性误预测和语义一致性。作者发现对抗扰动虽破坏整体表征，但语义在增强视图的分布中得以保留，据此提出RITA框架。RITA使用最优传输对齐增强视觉特征分布与文本原型，并引入动态缓存积累可靠线索进行在线优化。实验表明RITA在提升对抗鲁棒性的同时，不损失干净准确率。