#Muon

一位 AI 研究者靠每天发一条推文涨到 30 万粉丝，他分享的内容包括 nanoGPT 和 Muon 等项目，想学做技术自媒体的可以看看他的路子。

Yuchen Jin@Yuchenj_UW原文

NorMuon论文解析了行归一化在理论保证与实践表现间的矛盾，对理解LLM优化很有价值。

训练大模型的朋友可以看看这个 Muon 改进版，行列一起均衡还省优化器显存，收敛比 AdamW 更好。

把 Muon 里那套 Newton-Schulz 迭代搬到注意力输出上，不加参数，ViT 和 Swin 在 CIFAR 上 12 组对比全涨，代价是推理变慢一点。

Muon 优化器跟 LoRA 本来不搭，这篇论文用数学近似硬凑出了个 sMuon，微调性能有提升，实现还只用矩阵乘法。

Muon grok虽快，后grokking会崩到27.59%；冻结embedding/readout就能稳。想用Muon训Transformer的注意。

Muon在矩阵优化里挺火，但上Stiefel流形一直靠近似。这篇论文给了精确闭式解，还做了个Skewon，收敛性有保障，做正交约束优化的值得看。

这篇论文证明了Adam没有梯度下降的低秩隐式偏置，在Transformer里能让等价初始化差56%，不是调参小事。

MALT优化器给Muon加了轻量对角预条件，在GPT-2上比Muon更快更好，内存几乎没增加，适合大模型预训练。

Muon优化器之前都在Transformer上测试，这篇论文把它用到Mamba-2 130M上，发现输出投影用Muon最划算，训练效率更高，值得看看。

写了个新优化器CMuon，训练扩散Transformer比AdamW快两倍多，675M模型200轮就跑到FID 1.18，厉害得很。

把 Muon 更新压成每参数 1 bit 的符号，实验里 sign-after-LMO 最强，尽管理论上会发散，结论很反直觉。

这个研究把SAM的内扰动改成矩阵谱范数，再用Muon做外更新，在ImageNet的ViT和ResNet上准确率都最高。

这篇论文发现Muon优化器让智能体RL成功率从29%飙到55%，比AdamW快60步，还分析了学习率的影响。

训练MLIP别再默认用Adam了，试试SOAP或SOAP-Muon，收敛更快精度更高，尤其在有部分力监督时提升明显。

这篇论文给了Muon一个新视角：它不只是优化器，更像隐式残差连接，专门为下游层保留好的表示。想理解Muon为什么管用的可以看看。

这篇论文告诉你：选对优化器能把模型对齐率差7倍，Muon比Adam更靠谱，还能用谱正则化补救。

这篇论文用Muon优化器颠覆了'异步流水线并行梯度延迟必然拉胯训练'的老观念，10B参数实验证明性能和同步训练一样好，做大型LLM预训练的同学应该看看。

如果你关注优化器理论，这篇论文揭示了Muon比梯度下降更快的机制，并且给出了一个只需两步就对齐参数的学习率调度，很实用。

想优化张量参数？这篇论文把Muon优雅地推广到高阶张量，实验比Adam更稳健。

这篇论文提出了一种简单通用的优化器改进方案，能解耦权重幅度和方向，消除权重衰减和warmup，在Adam和Muon上都有效，值得关注。

Muon在大模型上加速效果缩水？Hyperball通过固定矩阵范数，让Muon在1.2B Qwen3上又快了20-30%，还更好调参。

Muon为何能训练Transformer？

做LLM训练或优化器研究的团队，这篇论文把Muon动量从玄学变成了可解释的频谱滤波机制，看完能直接指导你调参——先降噪再正交化，效果更稳。