Adam 相关 AI 资讯 · AI 热点

7月3日

11:47

11:47

官方账号arXiv cs.AI@Gil Harari, Yoel Zimmermann, Ola Tangen Kulseng, Laura Zichi, Chuin Wei Tan, Marc L. Descoteaux, Boris Kozinsky

论文系统比较了Muon、SOAP和SOAP-Muon三种优化器在训练NequIP和Allegro MLIP模型时的表现。实验发现SOAP和SOAP-Muon在收敛速度和最终精度上均显著超越Adam，其中SOAP-Muon综合最优。Muon仅提供部分改进，在部分力监督场景下这些优化器优势更加明显。结果表明优化器选择是MLIP训练中一个被忽视但影响巨大的设计维度。

论文 SOAP Muon Adam MLIP 优化器

推荐理由：训练MLIP别再默认用Adam了，试试SOAP或SOAP-Muon，收敛更快精度更高，尤其在有部分力监督时提升明显。

7月1日

09:59

09:59

官方账号arXiv cs.LG@Jason R. Brown, Patrick Leask, Lev McKinney

该论文系统研究了语言模型微调时的突现错位现象。作者在Qwen3家族多个模型上实验，发现优化器选择造成7倍的对齐率差异，而模型规模（1B-235B）影响可忽略。Muon优化器通过隐式正则化使LoRA适配器的奇异值分布更均匀，从而最好地保持对齐。额外添加谱正则化损失项可显著恢复Adam和Lion等易错位优化器的对齐性能。

论文 Qwen3 Muon Adam 突现错位优化器

推荐理由：这篇论文告诉你：选对优化器能把模型对齐率差7倍，Muon比Adam更靠谱，还能用谱正则化补救。

6月30日

11:05

11:05

官方账号arXiv cs.LG@Marcelina Marjankowska, Valerio Modugno, Paolo Barucca

该论文研究训练过程中Hessian矩阵领先特征向量的动态演化。作者在多层感知机分类任务上，通过位移和逆参与率两个统计量跟踪特征向量变化。结果显示SGD训练下曲率方向逐渐趋于稳定，而Adam则持续重组特征向量。Adam还表现出局部化现象，少量参数主导领先曲率方向。这些发现揭示了优化器差异对训练轨迹的影响。

论文 SGD Adam Hessian 优化器训练动态

推荐理由：这篇论文分析了SGD和Adam训练中Hessian特征向量的不同行为，发现Adam会让少量参数主导曲率方向，直观解释了为什么两种优化器训练结果不同。

6月25日

10:31

10:31

官方账号arXiv cs.LG@Alexander Hägele, Alejandro Hernández-Cano, Atli Kosson, Martin Jaggi

论文提出MD Decoupling优化器修改方法，将每个权重分解为超球面上的固定范数方向与可学习的每行每列幅度增益，以解耦幅度和方向的更新。该方法与Adam和Muon等基础优化器兼容，消除了对权重衰减和warmup的需求。实验表明，MD Decoupling在宽模型和大型MoE模型上均优于精心调优的基线，并允许跨模型宽度直接迁移学习率而不需重新调参。

论文 MD Decoupling Adam Muon MoE 优化器

推荐理由：这篇论文提出了一种简单通用的优化器改进方案，能解耦权重幅度和方向，消除权重衰减和warmup，在Adam和Muon上都有效，值得关注。

5月20日

10:11

10:11

官方账号arXiv cs.AI@Thomas Massena, Corentin Friedrich, Mathieu Serrurier

精选

这篇论文提出了一种数据驱动的优化器设计方法，能够根据梯度与激活统计信息动态选择每层神经网络的最优更新几何结构，在SGD和Muon之间自适应插值。该方法基于单步随机特征回归代理模型推导出闭式准则，并整合参数级预处理，可恢复SGD、Muon、Adam和MuAdam作为特例。通过高效计算策略，仅增加约3%的运行开销，在三种训练场景中与Muon和AdamW的最佳性能持平或更优。这项工作为超越静态几何的优化器设计开辟了新路径。

论文优化器自适应几何 Muon SGD Adam

推荐理由：这篇论文解决了优化器几何结构固定、无法适应问题几何的问题，做深度学习训练和优化器研究的开发者可以直接参考其自适应方法，有望提升模型训练效率。