#灾难性遗忘

一篇挺有意思的机制分析：模型微调后"忘了"的东西其实还在，删掉一个方向就能捞回来，做微调的值得看看原理。

这篇论文提出LSL框架，让大模型在训练新任务时不会忘记旧能力，特别适合需要持续学习的场景。

这篇论文很扎心：EWC 保住了通用能力，翻译里的正式度、性别控制这些指令照样丢。做翻译微调的人建议看看，选抗遗忘方法前先想清楚。

FACET用一个适配器解决了持续学习中的灾难性遗忘问题，比LoRA合并方法更高效。

这篇论文用模算术实验揭穿了一个幻觉：模型泛化好不代表扛得住后续干扰。高熵模型比AdamW更抗遗忘，想了解训练鲁棒性的可以看看。

想看量子机器学习怎么防遗忘？这篇用QFI替代传统方法，在VQC上效果更稳。

这篇论文用几何视角重新定义了灾难性遗忘，做持续学习或模型遗忘研究的开发者会看到新方向——遗忘不是删除，而是藏起来了。建议关注其恢复子空间维度的测量方法，可能启发新的抗遗忘算法。

做无监督学习和持续学习的团队终于有了聚类场景的专用方案——FBCC 不依赖标签和旧数据就能保持聚类结构，做数据流聚类或隐私敏感场景的开发者可以直接参考实验设置。

做持续学习或CLIP微调的团队，AREA把增量遗忘的根因拆解为属性提取与聚合两个环节，并给出了可落地的解耦方案，值得看看代码和实验细节。