Few-Shot Domain Incremental Learning 新问题与 CVLC 算法

Few-Shot Domain Incremental Learning via Continual Vision-Language Consolidation

精选理由

这篇论文提出了一个叫FSDIL的新问题和一个叫CVLC的算法,用双融合投影微调视觉语言模型,在少样本领域增量学习上比之前的方法好16%。

AI 摘要

本文定义了少样本领域增量学习(FSDIL)问题,针对传统方法在数据极少时过拟合的痛点。提出持续视觉-语言整合(CVLC)算法,关键思想是在基领域预留隐空间和双融合投影(DCP)参数高效微调。通过LLM生成多模板和同义词校准视觉与语言原型并融合,再用DCP适应新领域。在多个基准上,CVLC相比此前方法提升最高达16%。代码已开源。

AI 翻译 · 中文

本文定义了少样本领域增量学习(FSDIL)问题,针对传统方法在数据极少时过拟合的痛点。提出持续视觉-语言整合(CVLC)算法,关键思想是在基领域预留隐空间和双融合投影(DCP)参数高效微调。通过LLM生成多模板和同义词校准视觉与语言原型并融合,再用DCP适应新领域。在多个基准上,CVLC相比此前方法提升最高达16%。代码已开源。

arXiv cs.LGExisting domain-incremental learning (DIL) strategies call for massive amounts of data to adapt to new domains and suffer from the overfitting problem in the case of data scarcity. This paper puts forward a relatively un