模型中美对照多源确认精选78°11:01NVIDIA新研究：AdamW存在规模上限，SOAP和Muon在大规模训练中更优NVIDIA找到AdamW的短板了，批量干到1亿tokens它就崩，但SOAP和Muon依然稳，还解决了训练崩溃的毛病，训大模型可以看看这个。#AdamW#SOAP#Muon#NVIDIA3 个信源在谈事件专题elvis@omarsar04 个信源在谈原文稍后读已读值得跟进有用关注 AdamW
论文11:47超越Adam：SOAP和Muon加速训练机器学习原子间势训练MLIP别再默认用Adam了，试试SOAP或SOAP-Muon，收敛更快精度更高，尤其在有部分力监督时提升明显。#SOAP#Muon#Adam#MLIPaarXiv cs.AI@Gil Harari 等 7 人原文稍后读已读值得跟进有用关注 SOAP
