#AdamW

OpenAI团队提出新量化方法，让4-bit AdamW优化器性能接近32-bit，大模型训练存储成本大幅降低。

训练大模型的朋友可以看看这个 Muon 改进版，行列一起均衡还省优化器显存，收敛比 AdamW 更好。

Muon grok虽快，后grokking会崩到27.59%；冻结embedding/readout就能稳。想用Muon训Transformer的注意。

MoE 训练显存吃紧？MESH 方法砍掉六成优化器内存，损失只差一点，做大规模训练的可以试试。

Muon优化器之前都在Transformer上测试，这篇论文把它用到Mamba-2 130M上，发现输出投影用Muon最划算，训练效率更高，值得看看。

这篇论文用模算术实验揭穿了一个幻觉：模型泛化好不代表扛得住后续干扰。高熵模型比AdamW更抗遗忘，想了解训练鲁棒性的可以看看。

这篇论文发现Muon优化器让智能体RL成功率从29%飙到55%，比AdamW快60步，还分析了学习率的影响。

这篇论文用Muon优化器颠覆了'异步流水线并行梯度延迟必然拉胯训练'的老观念，10B参数实验证明性能和同步训练一样好，做大型LLM预训练的同学应该看看。

AdamW天天用但理论有坑，这篇论文把收敛性列为开放问题，还给出了新分析框架。做LLM训练优化的人该看看。