AITOP

类增量学习

共 4 条相关 AI 资讯
8月21日
10:11
10:11官方账号arXiv cs.LG@Siphesihle Sithungu
该研究提出一种基于结构亲和力的深度人工免疫网络（Deep AIN），用于无回放的视觉类增量学习。模型将视觉B细胞形式化为结构化模板，包括平移模板亲和力、零归一化互相关（ZNCC）滤波器和特征图绑定配置文件。在sklearn digits、MNIST、Fashion-MNIST和KMNIST数据集上的实验表明，保留响应图至关重要。特征图Deep AIN在sklearn digits上达到0.939的最终平衡准确率，在Fashion-MNIST上达到0.814，在KMNIST上达到0.853。
论文Deep AIN人工免疫网络类增量学习
推荐理由：这篇论文提出了一种新的深度人工免疫网络，用结构化亲和力替代传统扁平向量，在MNIST等数据集上实现了不错的无回放增量学习效果，还分析了关键机制，挺有意思的。
原文
6月26日
09:52
09:52官方账号arXiv cs.AI@Augustinas Jučas, Yangchen Pan
CIRCLE是一种基于固定双向二维储层特征（BiRC2D）的类增量分类器，使用流式线性判别分析（SLDA）头。它不需要回放、外部预训练或大初始任务。在CIFAR-100、TinyImageNet、ImageNet-Subset和ImageNet-1k数据集上，CIRCLE在10-20任务分割中表现有竞争力，在50、100和500任务分割中大幅超越现有强基线。同时训练速度远快于有回放的方法。消融实验表明，BiRC2D特征提取器、SLDA头和平衡特征/预测集成各自贡献了性能。
论文CIRCLEBiRC2DSLDA
推荐理由：这篇论文提出CIRCLE方法：用固定储层特征做持续学习，无需回放，在长任务序列上比现有方法更快更准确。
原文
6月16日
09:47
09:47官方账号arXiv cs.LG@Thinh T. H. Nguyen, Khoa D. Doan, Binh T. Nguyen, Danh Le-Phuoc, Kok-Seng Wong
论文提出PRO框架，用投影排练编排替代合成输入回放，在服务器维护紧凑的类级投影记忆。客户端通过平衡伪多任务训练结合当前样本和旧投影记忆。进一步提出的PRO-MAX增加了邻域加权记忆对齐。在图像、文本、图基准上，PRO和PRO-MAX在异构流下提升了保留率和最终效用，而基线即便扩大回放预算仍因监督不平衡退化，证明回放数量不足以解决质量问题。
论文联邦学习类增量学习记忆回放
推荐理由：联邦学习各客户端标签不同步？PRO用投影记忆代替生成回放，不用额外预训练，在异构环境下表现更稳，值得做增量学习的试试。
原文
5月28日
11:57
11:57官方账号arXiv cs.LG@Zhen-Hao Xie, Yu-Cheng Shi, Da-Wei Zhou
本文提出AREA方法，针对CLIP模型在类增量学习（CIL）中的灾难性遗忘问题。传统CLIP通过模板提示（如“一张[类别]的照片”）进行视觉与文本嵌入的相似度匹配，但该过程可分解为属性提取与属性聚合两个阶段。由于增量学习仅能访问当前任务数据，模型容易偏向新类别。AREA通过主测地线分析在超球面嵌入空间锚定属性，并引入轻量级任务专家与变分信息瓶颈正则化来稳定聚合。推理时利用最优传输进行任务属性流路由，实现更精确预测。实验表明，AREA在多个基准上超越现有最先进方法。
论文类增量学习CLIP属性提取
推荐理由：做持续学习或CLIP微调的团队，AREA把增量遗忘的根因拆解为属性提取与聚合两个环节，并给出了可落地的解耦方案，值得看看代码和实验细节。
原文