灾难性遗忘·general

灾难性遗忘

别名
首次出现
2026-05-22
最近出现
2026-06-12
累计提及
4
§ 01综述

灾难性遗忘是机器学习模型在持续学习新任务时,倾向于覆盖先前所学知识的固有问题。近期多项研究从理论分析和算法设计两个层面对此进行了突破性探索。

主要进展

  • 一项理论工作提出了 Stable Recovery Manifold 概念,为遗忘知识的几何可恢复性提供了原理性解释,表明遗忘并非不可逆,而是存在潜在的低维结构支持恢复(Stable Recovery Manifold:持续学习中遗忘知识的几何可恢复性原理)。
  • 针对大型语言模型(LLM),SETA 方法通过稀疏子空间专家共享机制,在不增加推理开销的前提下缓解了灾难性遗忘,实现了高效的知识继承(SETA:稀疏子空间专家共享解决LLM持续学习灾难性遗忘)。
  • 在无监督持续聚类场景下,FBCC 引入前向-后向知识蒸馏策略,有效克服了类别漂移导致的遗忘,为无标签环境下的持续学习提供了新思路(FBCC:无监督持续聚类新方法,通过前向-后向知识蒸馏克服灾难性遗忘)。
  • AREA 方法针对 CLIP 模型的类增量学习,通过解耦属性提取与聚合,减少了多模态特征间的干扰,从而抑制了遗忘(AREA:为CLIP类增量学习解耦属性提取与聚合)。
  • Fast-Slow Training 模仿人类学习中的快慢结合机制,使 LLM 在快速适应新数据的同时保留旧知识,实现了更自然的持续学习(Fast-Slow Training:让LLM像人类一样快慢结合持续学习)。
  • 当前焦点与未来观察点
    当前研究焦点集中在:1)遗忘的可恢复性理论是否具有普适性;2)专家模型、蒸馏等工程方法如何在保持效率的同时提升记忆保真度;3)视觉-语言模型等复杂架构中的跨模态遗忘问题。未来观察点包括:理论结果向实际应用的转化、不同方法在大规模模型上的整合,以及动态遗忘程度评估框架的建立。

    § 02相关报道05 条在档
    1. 01
      Stable Recovery Manifold:持续学习中遗忘知识的几何可恢复性原理
      arXiv cs.LG
    2. 02
      SETA:稀疏子空间专家共享解决LLM持续学习灾难性遗忘
      arXiv cs.AI
    3. 03
      FBCC:无监督持续聚类新方法,通过前向-后向知识蒸馏克服灾难性遗忘
      arXiv cs.LG
    4. 04
      AREA:为CLIP类增量学习解耦属性提取与聚合
      arXiv cs.LG
    5. 05
      Fast-Slow Training:让LLM像人类一样快慢结合持续学习
      arXiv cs.AI
    § 03邻近话题

    本页综述由 AITOP 基于公开报道整理。原报道版权归各自来源所有。

    /topic/%E7%81%BE%E9%9A%BE%E6%80%A7%E9%81%97%E5%BF%98