Weight

general · First seen 2026-05-22 · Last seen 2026-11-19 · 237 mentions

Overview

在机器学习语境中,Weight(权重)是神经网络中可学习的参数,决定模型如何把输入映射为输出,训练过程本质上就是不断调整权重以降低损失。围绕权重的研究不只停留在训练本身,还延伸到权重合并、低秩适配、权重切换以及权重不确定性等方向,近期多篇工作都在重新思考“好权重从哪里来、要多少才够”这一基础问题。

模型权重研究近期进展

  • 权重平均(model soups / weight averaging)是低成本提升泛化的流行做法。Rank-1 权重修正的可训练权重平均方法用于 OOD 检测 提出只对权重平均做秩一修正并让其可训练,在分布外检测任务上取得改进,说明简单的权重线性组合仍有可挖掘的空间。
  • LoRA 为何用极低的秩也能有效微调,一直缺少理论解释。理论解释为何 LoRA 低秩就够:瓶颈秩决定最优解秩 给出分析:任务的最优解秩受瓶颈秩约束,这为低秩权重更新为何够用提供了理论依据。
  • WeAct:让智能体通过权重切换获得能力 换了一个思路:与其把所有能力压进一套权重,不如让智能体在不同权重集合之间切换来获得新能力,把权重本身当作一种可调度的资源。
  • 权重的不确定性也有新进展。贝叶斯神经网络无需全随机:按先验尺度学习划分随机参数 主张不必让所有参数都随机化,而是按先验尺度学习哪些参数需要保留随机性,在计算成本与不确定性建模之间取得平衡。
  • 权重与优化器、开源生态的观察点

    除了权重本身,权重如何被优化同样受到关注。研究对比乘法与加法状态耦合对学习式优化器调度的影响 比较了两种状态耦合方式对学习式优化器的影响,属于“如何更聪明地更新权重”这条线上的工作。

    产业层面,权重也是开源与闭源之争的核心。Microsoft AI 发布参数量 2.8T 的基础模型 MAI-Base-2(报道),Nvidia 则洽谈追加投资开源模型创业公司 Reflection AI(报道)。Nathan Lambert 撰文分析了 Meta 开源模型与 Claude 的差距(原文),指出开放权重模型在能力上仍落后于头部闭源模型。

    值得后续观察的点包括:权重平均与低秩方法能否在更大规模模型上稳定复现收益;权重切换式智能体是否会成为能力扩展的新范式;以及开放权重模型与闭源模型的能力差距是在收窄还是固化。

    Coverage

    10 on file