8月7日
09:54
09:54官方账号arXiv cs.LG@Zhiyan Hou, Dan Zhang, Tao Feng, Liyuan Wang, Wei Li, Xiangzhao Hao, Hongyan An, Junfeng Fang, Haokai Ma, Zhaohui Xu, Haiyun Guo, Jinqiao Wang, Tat-Seng Chua
该论文从When、How、Where三个维度梳理持续学习(CL)的演进,指出其正从参数中心学习转向系统级适应。How维度涵盖off-policy、on-policy及超越梯度的优化机制;When维度横跨预训练、后训练与推理时阶段;Where维度区分内部参数更新与外部结构约束。论文系统综述了代表性方法,并讨论了这一范式转变的关键挑战与未来方向。
推荐理由:这篇论文把持续学习的新玩法梳理清楚了,不再只盯着参数调整,连测试时训练、外部记忆都算进去了。搞AI系统的可以看看。