09:47
官方账号arXiv cs.LG@Peng Xie
推荐理由：这篇论文用数学公式解释了LoRA微调为什么会破坏模型原有知识，而且实验覆盖了9000多层，结果很扎实。如果你做LoRA微调，能帮你预测什么时候会出现遗忘。
fine-tuning
共 2 条相关 AI 资讯
7月28日
09:47
该论文提出了一种谱分布定律，用于预测LoRA微调中出现的入侵维度（intruder dimensions），即与预训练奇异向量几乎正交的新奇异向量，这些向量会导致灾难性遗忘。通过推导每层临界更新强度s*=θ̄/(γσ₁(BA))，基于矩形尖峰变形变换（rectangular spiked-deformation transform）和精确的谱方程，无需拟合参数即可预测。在涵盖18个适配器、9840层扫描的实验中，该定律在82%的层上将阈值定位在2倍误差内，区分入侵层与非入侵层的平均AUC为0.89。结合两种预定的边缘评估，准确率达98%，并在第三方适配器上验证为0.997。基于阈值推导的尖峰预算规则（spike-budget rule）仅需一次SVD，无需验证扫描，即可在最脆弱的模型上将遗忘减少62%。
7月5日
04:10
04:10
Paul Couvert@itsPaulAi
Paul Couvert@itsPaulAi推荐理由：别老想着用最大的模型。用Gemma 4或Qwen 3.5免费微调一下，就比Claude还好用，还不用花钱，数据还安全。