AITOP

Adam

共 8 条相关 AI 资讯
8月18日
10:18
10:18官方账号arXiv cs.LG@Yushun Zhang
精选
论文为Adam优化器建立理论基础，揭示其收敛性受问题相关的相变支配：在恰当选择、依赖批量大小的超参数下Adam收敛，而小β₂下可能发散。通过分析Transformer训练的Hessian结构，发现其趋向近块对角形态且块间异质性强，这解释了Adam为何优于SGD。作者基于随机矩阵理论严格证明该结构来源，并由此设计出Adam-mini，将优化器内存占用减少50%且保持性能。结果对Muon等其他优化器的理解与改进也有启示。
论文AdamAdam-miniTransformer
推荐理由：这篇论文把Adam的底裤扒干净了，还顺手做了个Adam-mini，显存省一半，效果不掉。搞训练优化的人值得看看。
原文
8月6日
11:48
11:48官方账号arXiv cs.LG@Devender Singh
论文研究矩阵分解模型 W=UV^T 下不同优化器的隐式偏置。梯度下降、动量、共享标量Adam、Muon、Shampoo具有规范等变性，Adam和RMSProp等坐标级方法不具备，因此后者无法继承低秩偏置。结构定理刻画了无记忆等变规则等价于Gram决定的左预条件，传递定理把梯度流的路径性质推广到公共标量流。在欠定矩阵感知的9种更新规则实验中，从坐标级到共享标量预条件的单参数族单调恢复偏置，说明各向异性是主因。Transformer实验中，Adam第一步就让两个规范等价初始化分离，最终 W_Q^T W_K 的相对Frobenius距离相差56%。高光谱数据集在匹配训练损失下，梯度下降在最低采样密度时将留出误差降低43-44%。
论文AdamMuon优化器
推荐理由：这篇论文证明了Adam没有梯度下降的低秩隐式偏置，在Transformer里能让等价初始化差56%，不是调参小事。
原文
7月28日
11:42
11:42官方账号arXiv cs.LG@Kart-Leong Lim
传统随机变分推理（SVI）依赖共轭后验假设，难以处理非共轭情形。新方法PYPM-GGD基于常数步长随机梯度上升，无需闭式变分后验期望，仅要求可微分。借鉴Adam引入自适应步长，提升随机设置下的收敛性。在MIT67和SUN397数据集上使用ResNet特征，与深度聚类算法相比，聚类指标达到或超越现有最佳方法。
论文PYPM-GGDAdamSVI
推荐理由：这篇论文提出了一种新的贝叶斯非参数学习方法PYPM-GGD，用自适应步长处理非共轭后验，在MIT67和SUN397上聚类效果不错，比传统SVI更灵活。
原文
7月3日
11:47
11:47官方账号arXiv cs.AI@Gil Harari, Yoel Zimmermann, Ola Tangen Kulseng, Laura Zichi, Chuin Wei Tan, Marc L. Descoteaux, Boris Kozinsky
论文系统比较了Muon、SOAP和SOAP-Muon三种优化器在训练NequIP和Allegro MLIP模型时的表现。实验发现SOAP和SOAP-Muon在收敛速度和最终精度上均显著超越Adam，其中SOAP-Muon综合最优。Muon仅提供部分改进，在部分力监督场景下这些优化器优势更加明显。结果表明优化器选择是MLIP训练中一个被忽视但影响巨大的设计维度。
论文SOAPMuonAdam
推荐理由：训练MLIP别再默认用Adam了，试试SOAP或SOAP-Muon，收敛更快精度更高，尤其在有部分力监督时提升明显。
原文
7月1日
09:59
6月30日
11:05
11:05官方账号arXiv cs.LG@Marcelina Marjankowska, Valerio Modugno, Paolo Barucca
该论文研究训练过程中Hessian矩阵领先特征向量的动态演化。作者在多层感知机分类任务上，通过位移和逆参与率两个统计量跟踪特征向量变化。结果显示SGD训练下曲率方向逐渐趋于稳定，而Adam则持续重组特征向量。Adam还表现出局部化现象，少量参数主导领先曲率方向。这些发现揭示了优化器差异对训练轨迹的影响。
论文SGDAdamHessian
推荐理由：这篇论文分析了SGD和Adam训练中Hessian特征向量的不同行为，发现Adam会让少量参数主导曲率方向，直观解释了为什么两种优化器训练结果不同。
原文
6月25日
10:31
10:31官方账号arXiv cs.LG@Alexander Hägele, Alejandro Hernández-Cano, Atli Kosson, Martin Jaggi
论文提出MD Decoupling优化器修改方法，将每个权重分解为超球面上的固定范数方向与可学习的每行每列幅度增益，以解耦幅度和方向的更新。该方法与Adam和Muon等基础优化器兼容，消除了对权重衰减和warmup的需求。实验表明，MD Decoupling在宽模型和大型MoE模型上均优于精心调优的基线，并允许跨模型宽度直接迁移学习率而不需重新调参。
论文MD DecouplingAdamMuon
推荐理由：这篇论文提出了一种简单通用的优化器改进方案，能解耦权重幅度和方向，消除权重衰减和warmup，在Adam和Muon上都有效，值得关注。
原文
5月20日
10:11
10:11官方账号arXiv cs.AI@Thomas Massena, Corentin Friedrich, Mathieu Serrurier
精选
这篇论文提出了一种数据驱动的优化器设计方法，能够根据梯度与激活统计信息动态选择每层神经网络的最优更新几何结构，在SGD和Muon之间自适应插值。该方法基于单步随机特征回归代理模型推导出闭式准则，并整合参数级预处理，可恢复SGD、Muon、Adam和MuAdam作为特例。通过高效计算策略，仅增加约3%的运行开销，在三种训练场景中与Muon和AdamW的最佳性能持平或更优。这项工作为超越静态几何的优化器设计开辟了新路径。
论文优化器自适应几何Muon
推荐理由：这篇论文解决了优化器几何结构固定、无法适应问题几何的问题，做深度学习训练和优化器研究的开发者可以直接参考其自适应方法，有望提升模型训练效率。
原文