11:01
elvis@omarsar0
elvis@omarsar0精选78°
推荐理由：NVIDIA找到AdamW的短板了，批量干到1亿tokens它就崩，但SOAP和Muon依然稳，还解决了训练崩溃的毛病，训大模型可以看看这个。
SOAP
共 2 条相关 AI 资讯
7月27日
11:01
NVIDIA新研究指出AdamW优化器在大规模训练中存在规模上限，batch size达到1亿tokens进行下一个token预测时AdamW性能下降，而SOAP和Muon保持训练稳定性和质量。研究团队通过每步QR正交化和改进预条件策略解决了SOAP在大batch size下的loss spikes问题。在数十亿参数、数万亿tokens训练中，两种优化器持续优于AdamW。论文地址arxiv.org/abs/2607.20548。
7月3日
11:47
11:47
官方账号arXiv cs.AI@Gil Harari, Yoel Zimmermann, Ola Tangen Kulseng, Laura Zichi, Chuin Wei Tan, Marc L. Descoteaux, Boris Kozinsky
推荐理由：训练MLIP别再默认用Adam了，试试SOAP或SOAP-Muon，收敛更快精度更高，尤其在有部分力监督时提升明显。