13:15
arXiv cs.AI@Dingzhi Yu, Hongyi Tao, Yuanyu Wan, Luo Luo, Lijun Zhang
推荐理由：AdamW天天用但理论有坑，这篇论文把收敛性列为开放问题，还给出了新分析框架。做LLM训练优化的人该看看。
全部 AI 动态
AI 相关资讯全量信息流
6月23日
13:15
AdamW是训练大型语言模型的默认优化器，但其理论主要建立在有限方差假设上。实证发现LLM预训练中的随机梯度噪声通常是重尾的。近期Lion、Muon等符号优化器已取得重尾收敛率，AdaGrad也能在重尾噪声下收敛。本文提出一个开放问题：AdamW能否在相同重尾假设下收敛？作者证明了一个正加权度量基准，并通过走廊下界机制表明分母记忆可能隐藏大梯度。
6月16日
20:46
AITOP6月16日 20:46
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07
5月21日
10:59
10:59
arXiv cs.AI@Dayal Singh Kalra, Maissam Barkeshli
精选
推荐理由：做 LLM 训练调参的团队会关心——嵌入层学习率是 μP 优势的关键，直接放大 SP 的嵌入层学习率就能获得类似效果，值得在实验中验证。