精选理由
这篇论文打脸了“超级权重”的主张：单独训练它们反而让模型崩成随机猜，而LoRA用极少的参数就能搞定。想了解模型微调真正该关注什么，必看。
论文检验了LLM中“超级权重”（单参数移除后性能骤降）的存在性，发现这并非所有模型通用。在OLMo-1B和OLMo-7B上，单独训练100到8192个超级权重参数，精度降至随机猜测水平；即便扩展至周围36000个参数也无改善。相比之下，随机选取同层同等数量参数训练反而能提升基准。使用仅占0.16%参数的vanilla LoRA（更新注意力权重矩阵）成功微调，且施加于超级权重坐标的LoRA约束效果类似。结论指出参数重要性不等同于单独可训练性，有效微调需要基于全层的结构化分解。
AI 翻译 · 中文
论文检验了LLM中“超级权重”（单参数移除后性能骤降）的存在性，发现这并非所有模型通用。在OLMo-1B和OLMo-7B上，单独训练100到8192个超级权重参数，精度降至随机猜测水平；即便扩展至周围36000个参数也无改善。相比之下，随机选取同层同等数量参数训练反而能提升基准。使用仅占0.16%参数的vanilla LoRA（更新注意力权重矩阵）成功微调，且施加于超级权重坐标的LoRA约束效果类似。结论指出参数重要性不等同于单独可训练性，有效微调需要基于全层的结构化分解。
Recent work identified Super Weights, individual parameters whose removal degrades model performance by orders of magnitude. We show that this degradation due to pruning Super Weights does not universally apply to all LL…