NVIDIA新研究：AdamW存在规模上限，SOAP和Muon在大规模训练中更优

NVIDIA新研究指出AdamW优化器在大规模训练中存在规模上限，batch size达到1亿tokens进行下一个token预测时AdamW性能下降，而SOAP和Muon保持训练稳定性和质量。研究团队通过每步QR正交化和改进预条件策略解决了SOAP在大batch size下的loss spikes问题。在数十亿参数、数万亿tokens训练中，两种优化器持续优于AdamW。论文地址arxiv.org/abs/2607.20548。