灾难性遗忘(Catastrophic Forgetting)指神经网络在学习新任务或新数据时,原本掌握的旧知识与能力迅速丧失的现象,是大模型微调和持续学习领域的核心难题。在参数高效的微调成为主流的今天,模型每接入一个新能力,都可能以牺牲既有表现为代价,因此如何缓解灾难性遗忘成为研究热点。
灾难性遗忘的近期研究进展
其他方向还包括:Local Support Learning 与 FACET 的任务条件特征变换探索结构化隔离方案,高熵模型缓解遗忘从模型熵特性入手,以及利用量子 Fisher 信息的弹性权重巩固将经典方法向新计算范式延伸。
当前焦点与观察点
从近期论文可以看出三个趋势。其一,研究重心从"如何少忘"扩展到"忘得可不可逆":虚假遗忘和几何可恢复性研究试图证明一部分遗忘是表象,这类工作若成熟,微调后可能不再需要完整重训。其二,缓解手段趋向细粒度,从整体正则化走向子空间约束、功能子网络定位等更精准的干预。其三,评测的真实性受到质疑——抗遗忘方法在特定任务上的失效提示,社区需要更贴近实际部署的持续学习基准。
值得关注的观察点包括:可恢复性理论能否在大规模模型上验证、子网络级保护方法与现有参数高效微调框架(如 LoRA 类方法)的兼容性,以及抗遗忘与模型安全对齐之间的张力——保护旧能力的机制同样可能阻碍遗忘有害内容。灾难性遗忘问题的进展,将直接影响大模型迭代式更新的成本与可靠性。