10:18
官方账号arXiv cs.LG@Yushun Zhang
精选
推荐理由：这篇论文把Adam的底裤扒干净了，还顺手做了个Adam-mini，显存省一半，效果不掉。搞训练优化的人值得看看。
Adam-mini
共 1 条相关 AI 资讯
8月18日
10:18
论文为Adam优化器建立理论基础，揭示其收敛性受问题相关的相变支配：在恰当选择、依赖批量大小的超参数下Adam收敛，而小β₂下可能发散。通过分析Transformer训练的Hessian结构，发现其趋向近块对角形态且块间异质性强，这解释了Adam为何优于SGD。作者基于随机矩阵理论严格证明该结构来源，并由此设计出Adam-mini，将优化器内存占用减少50%且保持性能。结果对Muon等其他优化器的理解与改进也有启示。