09:47
官方账号arXiv cs.LG@Peng Xie
推荐理由：这篇论文用数学公式解释了LoRA微调为什么会破坏模型原有知识，而且实验覆盖了9000多层，结果很扎实。如果你做LoRA微调，能帮你预测什么时候会出现遗忘。
intruder dimensions
共 1 条相关 AI 资讯
7月28日
09:47
该论文提出了一种谱分布定律，用于预测LoRA微调中出现的入侵维度（intruder dimensions），即与预训练奇异向量几乎正交的新奇异向量，这些向量会导致灾难性遗忘。通过推导每层临界更新强度s*=θ̄/(γσ₁(BA))，基于矩形尖峰变形变换（rectangular spiked-deformation transform）和精确的谱方程，无需拟合参数即可预测。在涵盖18个适配器、9840层扫描的实验中，该定律在82%的层上将阈值定位在2倍误差内，区分入侵层与非入侵层的平均AUC为0.89。结合两种预定的边缘评估，准确率达98%，并在第三方适配器上验证为0.997。基于阈值推导的尖峰预算规则（spike-budget rule）仅需一次SVD，无需验证扫描，即可在最脆弱的模型上将遗忘减少62%。