#Subspace Tuning

微调总把模型原有能力练没了？这篇提出只在低奇异值子空间更新权重，KL 漂移少 2-4 倍，做微调的可以看看。