№muon·general
Muon
别名
- 首次出现
- 2026-05-22
- 最近出现
- 2026-07-29
- 累计提及
- 73
§ 01综述
Muon是一种新兴的矩阵感知优化器，旨在通过利用参数的矩阵结构（如权重矩阵的谱性质）来加速深度神经网络训练，近期在arXiv上引发了一系列研究关注。
Muon近期进展
2025年7月，arXiv一篇论文提出SOAP和Muon优化器用于加速机器学习原子间势的训练，实验表明Muon在多种势能表面上收敛速度显著快于AdamW。超越Adam：SOAP和Muon加速训练机器学习原子间势
2025年7月，另一项工作揭示了Muon优化器与隐式残差连接之间的联系，通过理论分析指出Muon的更新规则天然引入了类似残差的结构，这可能是其优越性能的原因之一。Muon优化器新解：隐式残差连接机制
2025年6月，有研究分析了Muon在矩阵分解中的行为，发现它能够避免传统的慢鞍点动力学，并趋向于平衡解，从而在低秩矩阵恢复任务中表现更优。Muon优化器在矩阵分解中避免慢鞍点动力学，实现平衡解
此外，同期还有多个工作对Muon进行扩展，如Tensorion（张量感知泛化，arXiv:2606.25975v1）、AngularMuown（显式角度步长衰减，arXiv:2606.23637v1），以及将Muon作为Hyperball优化包装器的一部分用于大模型预训练（arXiv:2606.16899v1）。
当前焦点与观察点
当前关于Muon的焦点集中在其理论基础与实证优势的平衡上。一方面，研究者试图从隐式残差连接、避免鞍点等角度解释其有效性；另一方面，Muon在大规模异步流水线并行（如arXiv:2606.30634v1）以及重尾噪声场景下（如AdamW对比研究arXiv:2606.23676v1）的表现仍需更多验证。此外，优化器如何影响突现错位（arXiv:2606.31591v1）也是争议点之一。总体而言，Muon作为AdamW的有力竞争者，正逐渐成为训练大型模型（尤其是涉及矩阵运算的任务）的研究热点。