20:21
官方账号arXiv cs.LG@Dezheng Han, Anbang Zhang, Zhihao Zhu, Shuaishuai Guo
精选73°
推荐理由：清华团队提出FiUni框架，用Fisher信息矩阵解决无任务持续学习，比传统方法更高效。
FiUni
共 1 条相关 AI 资讯
8月28日
20:21
研究人员提出FiUni框架，用于批级别任务检测和参数高效持续适应。该框架基于预训练模型的Fisher信息矩阵K-FAC近似的主子空间正交性观察，能反映不同任务间的相似性。FiUni构建FIM衍生的冻结子空间引导LoRA适配，同时匹配每个传入批窗口的Fisher主子空间与历史子空间。实验显示FiUni能有效推断潜在批级别任务关联，并在更少可训练参数下达到与先进任务感知CL方法相当的性能。