#持续学习

一篇持续学习论文，提出 GaTaP 算法，用门控机制既防遗忘又能 few-shot 学新任务组合，实验覆盖 MLP 和 CNN。

这篇论文给微调遗忘问题做了套几何理论，还造了个按单元的投影器，在 OPT-1.3b 上把 Adam-NSCL 的遗忘压到最多 4.3 倍更低，做持续学习的朋友可以看看。

遇到传感器越加越多、老模型就失效的问题？这篇论文用场算子代替图表示，PEMS 上误差直接降了 8.4%，代码也开源了。

一篇做低比特量化的论文，专治卷积层里 im2col 导致激活体积暴涨的问题，量化开销最多降 9 倍，做边缘端部署的可以看看。

机器人操作的世界模型持续学习基准，沿动作和感知两轴拆任务，模块化模型最抗遗忘但也没完全过关。

FACET用一个适配器解决了持续学习中的灾难性遗忘问题，比LoRA合并方法更高效。

这篇论文提出了一种无奖励持续学习框架，对于太空机器人适应硬件退化问题有重要意义，值得一读。

这篇论文提出了一个针对恶意软件识别的持续学习方法，结合自监督学习和低秩自适应，效果显著，值得一读。

想了解怎么让模型部署后还能继续学？Macaron-V1用LoRA组合和递归改进做到了，744B大模型加四个专家LoRA，还开源。

这篇论文把持续学习的新玩法梳理清楚了，不再只盯着参数调整，连测试时训练、外部记忆都算进去了。搞AI系统的可以看看。

这篇论文发现：渐进适应时任务分得越细，每个任务训练时间反而要按1/N缩放。用MNIST和Yearbook验证了，做持续学习的朋友可以看看。

这篇论文给了一套测试方法，来验证 LLM 智能体到底会不会把经验变成可复用的技能，而不是光靠记住上下文。

持续学习里OOD检测老退化，这篇论文讲清了原因，还给了免训练的TOOD校准方法，CIFAR上九成配置都能排前二。

这篇文章分析了Ilya Sutskever的SSI可能在做类脑持续学习，Nvidia还投了钱给了10倍算力，听起来比现在冻结的模型聪明多了。

Amjad Masad@amasad11 个信源在谈原文

如果你在用 LangSmith 做智能体，想测试 Engine 能不能自动改进，这个评估套件能帮你量化效果，值得一看。

官方账号LangChain@LangChainAI原文

这篇论文用Terminal-Bench 2.0测试三种Agent优化方法，发现只有RELAI-VCL能持续累积提升，终身平均76.4%远超其他。做智能体持续学习的人必看。