AITOPAI热报

adamw

general · First seen 2026-05-22 · Last seen 2026-10-21 · 75 mentions

Overview

AdamW 是深度学习中最广泛使用的参数优化算法之一，它在 Adam 的基础上将权重衰减与梯度更新解耦，自 2017 年提出以来一直是模型训练的默认选择。随着大模型规模扩大，AdamW 的优化器状态会占用大量显存，同时以 Muon 为代表的新一代优化器开始对它的地位构成实质挑战。

AdamW 近期进展

围绕 AdamW 的研究近期集中在两个方向：一是用 Muon 等新优化器替代或对比它，二是压缩其优化器状态以降低训练成本。

  • Muon 在什么条件下才真正胜过 AdamW？一项配对预算基准测试：该工作通过控制参数与算力预算的配对实验，界定了 Muon 相对 AdamW 具备优势的适用条件，为新优化器的采用提供了更严格的实证依据。
  • AdamW优化器状态量化新方法：针对 AdamW 需要额外维护一阶、二阶矩状态的问题，提出了量化优化器状态的方法，可显著降低大模型训练的显存开销。
  • Spectral Allocation: Muon超越Adam，如何改进Muon：从谱分配视角解释了 Muon 能超越 Adam 系优化器的原因，并据此提出改进方案。
  • MESH：面向混合专家训练的内存高效Sinkhorn优化：面向 MoE 架构提出内存高效的优化方案，延续了压缩优化器开销这一与 AdamW 状态管理相关的技术路线。

    • 当前焦点与观察点

    AdamW 目前仍是大模型训练的工业基线，其生态成熟、超参数经验充足，短期内被完全取代的可能性不高。但 Muon 类谱方法优化器在语言模型预训练上的表现持续得到验证，衍生出 MeqMuon 等变体，也开始扩展到状态空间模型等架构。观察点主要有三：一是新优化器在更大规模和更多架构上的可复现性；二是优化器状态量化、低秩化等压缩技术能否让 AdamW 在显存受限场景继续延寿；三是持续学习等细分场景（如面向在线持续学习的 SPIN）是否会催生专用优化器。整体来看，AdamW 正从

    Coverage

    10 on file