clip

general · First seen 2026-05-22 · Last seen 2026-10-27 · 146 mentions

Overview

CLIP(Contrastive Language-Image Pretraining)是 OpenAI 于 2021 年发布的图文对比学习模型,通过在海量图文对上对齐视觉与语言表示,成为多模态领域最基础的骨架之一。如今 CLIP 的作用已超出图像分类与零样本检索,广泛嵌入生成模型、安全强化学习、跨模态检索等系统中,是衡量新方法能否「理解」语义的常用底座。

CLIP 相关的近期进展

近期研究呈现出把 CLIP 信号用于更复杂任务的明显趋势。在安全强化学习方向,VLM-Safe-RL:用 CLIP 信号改进安全强化学习,事故率从 31.6% 降至 19.4% 将 CLIP 作为语义奖励信号引入训练,使智能体事故率从 31.6% 降至 19.4%,说明对比学习表示可以承担价值判断之外的语义监督角色。

另一批工作则直面 CLIP 的固有短板——组合性理解不足。ORCA:对齐文本与视觉表示,修复扩散模型组合性失败 尝试重新对齐文本与视觉表示,以缓解扩散模型在复杂指令下「画不对关系」的问题,这从侧面印证了社区对 CLIP 类表示在属性绑定、空间关系上表现欠佳的共识。

跨模态边界也在被继续拓展。BAT-CLIP:首个对齐脑电、音频与文本的三模态框架 把对比对齐范式从图文扩展到脑电、音频与文本三种模态;Code Comprehensor:面向大型代码仓库的分层文档与跨模态检索框架 则将类似思路用于代码仓库的文档与检索场景。

在应用层面,用 MiniCPM-V 4.7 搭建视频自动解说工具 Clip Narrator 展示了视频切片与多模态大模型结合做自动解说的落地玩法,「clip」一词在工程语境里也常指视频剪辑片段,这类工具正是二者的交叉点。

当前焦点与观察点

围绕 CLIP 的讨论集中在三个方向。其一是表示质量的改进:组合性失败、细粒度区分能力弱是老问题,ORCA 等工作代表了对齐策略层面的修补尝试。其二是模态外延:从脑电到代码,对比对齐正被当作通用范式复制,但各模态数据质量差异大,能否复现图文对齐的效果仍待验证。其三是 CLIP 在下游系统中的角色变化:随着视觉语言模型规模扩大,研究者开始关注微调过程中语义能力的获取与退化轨迹(见 研究微调过程中视觉语言模型语义能力的获取与退化轨迹),CLIP 式预训练在整体训练流程中的权重分配正被重新审视。

对关注多模态技术的读者而言,CLIP 的价值已不在其原始分类任务,而在于它作为「语义桥梁」被多少系统复用。后续值得观察的是:更细粒度的对齐目标能否取代原始对比损失,以及在大模型时代独立的 CLIP 编码器是否会逐渐被端到端训练吸收。

Coverage

10 on file