论文09:47
LoRA微调中的入侵阈值：一种谱分布定律这篇论文用数学公式解释了LoRA微调为什么会破坏模型原有知识，而且实验覆盖了9000多层，结果很扎实。如果你做LoRA微调，能帮你预测什么时候会出现遗忘。
#catastrophic forgetting
共 1 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「catastrophic forgetting」标签的资讯、产品与论文，按刊登时间排，新的在上。
7月28日
这篇论文用数学公式解释了LoRA微调为什么会破坏模型原有知识，而且实验覆盖了9000多层，结果很扎实。如果你做LoRA微调，能帮你预测什么时候会出现遗忘。