精选理由
持续学习是让模型不断吸收新知识而不遗忘旧知识的关键技术，做模型微调或增量学习的开发者可以关注 TailLoR 如何用谱分解优雅解决灾难性遗忘问题。
TailLoR 是一种基于谱分解的参数高效微调方法，专为持续学习设计。它利用预训练权重的奇异基 U 和 V 作为固定参考框架，学习对奇异值矩阵的低秩更新。通过软谱惩罚抑制与主导奇异方向对齐的更新，减少干扰，同时将细粒度适应引导到高度灵活的长尾谱坐标中。该方法在持续学习场景中有效平衡了旧知识保留与新任务适应。
AI 翻译 · 中文
TailLoR 是一种基于谱分解的参数高效微调方法，专为持续学习设计。它利用预训练权重的奇异基 U 和 V 作为固定参考框架，学习对奇异值矩阵的低秩更新。通过软谱惩罚抑制与主导奇异方向对齐的更新，减少干扰，同时将细粒度适应引导到高度灵活的长尾谱坐标中。该方法在持续学习场景中有效平衡了旧知识保留与新任务适应。
Parameter-efficient finetuning methods based on spectral decomposition have enabled progress in Continual Learning. In this paper we introduce TailLoR, which utilizes the singular bases U and V of the pre-trained weights…