CLIP 相关 AI 资讯

8月17日

10:33

官方账号arXiv cs.LG@Rory Ashton

作者在320幅二十世纪绘画上测试艺术家分离协议，5-NN风格准确率从0.87降至0.77，超现实主义下降20个百分点。印象派和立体主义准确率几乎不变，超现实主义的下降在四个图像编码器中一致出现。这一模式甚至出现在视觉自监督模型中，说明问题源于视觉结构而非语言。结果表明现有随机划分夸大了风格理解能力。

论文 CLIP 风格分类图像嵌入

推荐理由：CLIP这类模型认画风还是认画家？这篇论文用“艺术家分离”测试发现，超现实主义识别会掉20个点。搞艺术分类的值得看。

原文

8月3日

09:16

官方账号arXiv cs.AI@Xiang Chen, Yingying Zhao, Chao Li, Jiaju Han, Ben Zhang, Ang Li, Jiahuan Long, Yiwei Wei, Jiujiang Guo, Chengyin Hu

论文提出QR-STT，一种无需训练的黑盒攻击框架，用于定向操控红外视觉语言模型的语义输出。该方法将QR码划分为冷、中、热三种温度模块，并通过无梯度优化搜索模块布局和渲染参数。实验在多个CLIP风格编码器上验证，QR-STT能稳定将图像-文本对齐导向攻击者选定的概念。针对分类任务优化的扰动还能迁移到图像描述和视觉问答，使生成文本出现目标一致的语义偏移。

论文 QR-STT CLIP 对抗攻击

推荐理由：红外视觉模型能被QR码图案定向误导？论文提出QR-STT，黑盒无需训练，改分类还影响问答，AI安全党可以看看。

原文

7月30日

10:53

官方账号arXiv cs.AI@Chuanzhi Xu, Zihan Deng, Huiqi Liang, Chengkun Yue, Zhanlin Cui, Pengfei Ye, Weidong Cai

研究者构建了包含3,857个科学图表的标注数据集，每个图表按Clarity、Relevance、Informativeness、Structure四个同行评审维度评分。提出SciFigAlign模型，端到端微调CLIP和SciBERT，结合跨模态注意力与CubeMLP融合，并联合优化SmoothL1回归与论文内排名hinge损失。在论文级别划分的测试集（n=396）上，模型macro MAE为0.3524，论文内成对比对准确率达81.64%，相比最佳LLM裁判基线（MAE 0.864）实现59%的相对误差降低。消融实验证明，基于手稿、引用上下文去噪和排名监督均对评估至关重要。

AI模型 SciFigAlign CLIP SciBERT

推荐理由：想自动给论文图表打分？SciFigAlign比顶级大模型裁判准59%，还能区分同论文哪张图更好——审稿人能省大事。

原文

7月13日

09:18

官方账号arXiv cs.LG@Xingyu Zhu, Huanshen Wu, Shuo Wang, Beier Zhu, Jiannan Ge, Jiaheng Zhang, Long Chen

预训练的视觉语言模型如CLIP在零样本泛化上表现优异，但在对抗扰动下性能显著下降。现有测试时自适应方法依赖样本级置信度启发式，无法区分对抗性误预测和语义一致性。作者发现对抗扰动虽破坏整体表征，但语义在增强视图的分布中得以保留，据此提出RITA框架。RITA使用最优传输对齐增强视觉特征分布与文本原型，并引入动态缓存积累可靠线索进行在线优化。实验表明RITA在提升对抗鲁棒性的同时，不损失干净准确率。

论文 CLIP RITA 多模态

推荐理由：这篇论文用最优传输做分布对齐来对抗扰动，不用改模型结构，挺实用的思路。

原文

7月9日

09:08

官方一手arXiv: OpenAI@Xin Li, Jiaju Han, Ma Yaqi, Chengyin Hu, Yingying Zhao, Jiahuan Long, Fengyu Zhang, Yahui Chai

精选

InfraQR 是一种针对红外视觉语言模型的攻击方法，将紧凑结构化补丁沿图像边界放置，通过代理 CLIP 编码器优化可学习网格单元。在 300 张红外图像基准上，InfraQR 将 OpenAI CLIP 的分类准确率从 98.67% 降至 0.70%。攻击还迁移到黑盒字幕和 VQA 模型，导致字幕语义退化，并在 GPT-5.4 评估下产生更易错的答案。结果表明红外视觉语言模型易受边缘结构化扰动影响，需进一步研究跨任务鲁棒性。

论文 InfraQR CLIP OpenAI

事件专题

推荐理由：这篇研究告诉你，红外视觉语言模型有多脆弱——一个 QR 风格的边角补丁就能让 OpenAI CLIP 准确率从 98.67% 跌到 0.70%，还能黑盒攻击其它模型。搞安全或对抗训练的值得一看。

原文

6月23日

12:53

官方账号arXiv cs.LG@Andrei Liviu Nicolicioiu, Sarvjeet Singh Ghotra, Morgane M. Moss, Aaron Courville

论文提出一种自举的Self-Filtering方法，通过迭代训练CLIP模型并动态筛选数据混合来提升训练数据质量。该方法在不需要额外数据或预训练模型的情况下，平衡了高置信度干净样本与全分布多样样本。实验表明，经该方法过滤后的视觉语言数据集在下游任务上性能显著提升。该方法避免了传统启发式或依赖参考数据集的局限。

论文 CLIP 数据选择自过滤

推荐理由：这篇论文教你怎么自动筛选高质量训练数据，用CLIP自己迭代过滤，效果比手动搞还好，还不用额外数据。

原文

10:44

官方账号arXiv cs.LG@Na Sang, Ding Ma, Rui Sang, Yuxuan Liu

提出概念约束提示学习(CCPL)框架，使用共享上下文标记和冻结概念原型，通过文本空间余弦一致性对齐learnable类提示。默认设lambda=0.5、概念dropout p=0.3、弱概念引导融合alpha=0.1。在DTD上基类到新类调和平均数提升0.6，EuroSAT提升2.9，OxfordPets下降0.1。实验表明概念约束在概念原型与数据集语义自然对齐时效果最佳。

论文 CLIP CCPL CoOp

推荐理由：这篇论文提出了CCPL，用概念原型约束提示学习，在DTD和EuroSAT上比CoOp有稳定提升，值得少样本CLIP调优的读者看看。

原文

6月16日

11:09

官方账号arXiv cs.LG@Jan-Niklas Klein, Sona Ghahremani, Christian Medeiros Adriano, Holger Giese

CrossMaps是一个实时开放词汇语义地图构建管道，使用RGB-D数据生成语言可查询的语义热图。它集成多尺度CLIP嵌入和置信度感知融合，通过几何、语义和时间置信度线索聚合噪声视觉观察。采用双记忆架构（短时记忆STM和长时记忆LTM），置信且一致的单元被提升为持久语义地标。在Jetson Orin驱动UGV上结合SLAM运行，支持自然语言查询导航。

论文 CrossMaps CLIP Jetson Orin

推荐理由：这篇论文搞了个CrossMaps，让漫游车能用自然语言查地图，比VLMaps多了置信度融合和双记忆，在Jetson Orin上实时跑

原文

6月8日

09:30

官方账号arXiv cs.AI@Sweta Mahajan, Sukrut Rao, Jiahao Xie, Alexander Koller, Bernt Schiele

CLIP等视觉语言模型存在图文嵌入对齐差的问题，因为图像包含的信息远超其标题描述。TEVI框架利用稀疏自编码器解耦图像嵌入，并训练掩码模块根据标题选择性重建嵌入，从而保留标题描述的特征、丢弃无关信息。在合成标题的受控实验中，TEVI能有效保留标题描述的属性。在MS COCO、Flickr、IIW、DOCCI等基准测试中，TEVI提升了检索性能，尤其在长标题任务上增益更明显，同时增强了RoCOCO基准的鲁棒性。

论文 CLIP 稀疏自编码器图文对齐

推荐理由：CLIP用户常遇到图文检索不准的痛点，TEVI用稀疏自编码器精准对齐嵌入，做多模态检索或视觉问答的团队可以直接参考其方法改进模型。

原文

6月1日

10:25

官方账号arXiv cs.LG@Arnas Uselis, Darina Koishigarina, Seong Joon Oh

精选

人类能轻松将颜色与形状绑定（如“红色圆形”），但 CLIP 等视觉-语言嵌入模型在多物体场景中无法正确绑定概念，表现为“词袋”行为。研究发现，CLIP 的场景嵌入可加性分解为物体表征，但绑定函数复杂度高，导致图像与文本编码器无法学习共享的绑定机制，难以泛化到未见过的概念组合。通过从头训练的受控 Transformer 模型，作者发现当数据覆盖足够时，模型能学会低复杂度的绑定函数（涉及概念间的乘法交互），实现系统性泛化。该工作揭示了嵌入模型在概念绑定上的根本限制与突破条件，代码已开源。

论文嵌入模型概念绑定 CLIP

推荐理由：做多模态嵌入或视觉-语言模型研究的开发者，这篇论文点出了 CLIP 类模型在概念绑定上的核心瓶颈，并给出了可复现的解决方案，值得深入阅读。

原文

5月28日

11:57

官方账号arXiv cs.LG@Zhen-Hao Xie, Yu-Cheng Shi, Da-Wei Zhou

本文提出AREA方法，针对CLIP模型在类增量学习（CIL）中的灾难性遗忘问题。传统CLIP通过模板提示（如“一张[类别]的照片”）进行视觉与文本嵌入的相似度匹配，但该过程可分解为属性提取与属性聚合两个阶段。由于增量学习仅能访问当前任务数据，模型容易偏向新类别。AREA通过主测地线分析在超球面嵌入空间锚定属性，并引入轻量级任务专家与变分信息瓶颈正则化来稳定聚合。推理时利用最优传输进行任务属性流路由，实现更精确预测。实验表明，AREA在多个基准上超越现有最先进方法。

论文类增量学习 CLIP 属性提取

推荐理由：做持续学习或CLIP微调的团队，AREA把增量遗忘的根因拆解为属性提取与聚合两个环节，并给出了可落地的解耦方案，值得看看代码和实验细节。

原文

5月12日

19:10

官方一手arXiv: OpenAI@David F. Ramirez, Tim L. Overman, Kristen Jaskie, Marv Kleine, Andreas Spanias

该研究探索将大型语言-视觉模型（LLVM）应用于遥感SAR图像的自动目标识别（ATR）。基于MSTAR公共数据集，研究者构建了包含描述性文本和问答对的训练基准，并利用CLIP和LLaVA等模型进行参数高效微调。实验在识别军事车辆类型等细微特征上达到98%的准确率，显著提升了机器辅助遥感ATR在复杂环境下的能力。这项工作展示了LLVM在合成孔径雷达分析中的潜力，为军事和情报领域的自动化目标识别提供了新途径。

论文多模态 SAR图像自动目标识别

推荐理由：该研究首次将LLVM迁移至SAR图像分析，并基于MSTAR数据集建立带标注的ATR基准，为多模态模型在遥感军事应用中的落地提供了可复现的方法论与评估框架。

原文