优化器相关 AI 资讯

8月18日

10:18

官方账号arXiv cs.LG@Yushun Zhang

精选

论文为Adam优化器建立理论基础，揭示其收敛性受问题相关的相变支配：在恰当选择、依赖批量大小的超参数下Adam收敛，而小β₂下可能发散。通过分析Transformer训练的Hessian结构，发现其趋向近块对角形态且块间异质性强，这解释了Adam为何优于SGD。作者基于随机矩阵理论严格证明该结构来源，并由此设计出Adam-mini，将优化器内存占用减少50%且保持性能。结果对Muon等其他优化器的理解与改进也有启示。

论文 Adam Adam-mini Transformer

推荐理由：这篇论文把Adam的底裤扒干净了，还顺手做了个Adam-mini，显存省一半，效果不掉。搞训练优化的人值得看看。

原文

8月6日

11:48

官方账号arXiv cs.LG@Devender Singh

论文研究矩阵分解模型 W=UV^T 下不同优化器的隐式偏置。梯度下降、动量、共享标量Adam、Muon、Shampoo具有规范等变性，Adam和RMSProp等坐标级方法不具备，因此后者无法继承低秩偏置。结构定理刻画了无记忆等变规则等价于Gram决定的左预条件，传递定理把梯度流的路径性质推广到公共标量流。在欠定矩阵感知的9种更新规则实验中，从坐标级到共享标量预条件的单参数族单调恢复偏置，说明各向异性是主因。Transformer实验中，Adam第一步就让两个规范等价初始化分离，最终 W_Q^T W_K 的相对Frobenius距离相差56%。高光谱数据集在匹配训练损失下，梯度下降在最低采样密度时将留出误差降低43-44%。

论文 Adam Muon 优化器

推荐理由：这篇论文证明了Adam没有梯度下降的低秩隐式偏置，在Transformer里能让等价初始化差56%，不是调参小事。

原文

11:43

官方账号arXiv cs.LG@Tongle Wu, Huanyu Dong, Ying Sun, Ziye Ma

MALT在Muon基础上加入轻量对角预条件器，以感知损失曲率并降低对曲率各向异性的敏感度。它使用Newton-Schulz迭代正交化预条件后的动量，并通过范数嫁接控制更新幅度。进一步提出的MALTER通过自适应步长重缩放提升对随机梯度噪声的鲁棒性。在GPT-2 Small、Medium、Large预训练实验中，MALT和MALTER均优于Muon，且内存占用和耗时几乎不变。

论文 MALT Muon GPT-2

推荐理由：MALT优化器给Muon加了轻量对角预条件，在GPT-2上比Muon更快更好，内存几乎没增加，适合大模型预训练。

原文

8月5日

12:05

官方账号arXiv cs.LG@Arslan Battalov, Karim Kramin, Alexander Markotenko, Sofia Sinitsina

Muon是一种通过Newton-Schulz迭代在谱范数下做最速下降的优化器，此前证据几乎全部来自Transformer模型。这篇论文在Mamba-2 130M上对比了Muon与AdamW，只改变哪些权重组用Muon训练。结果显示只有输出投影用Muon时收益最明显，输入投影或两者都用效果更差。优势主要体现在token效率上，在两个语料和两个token预算下都成立，且超过计算最优训练点后依然持续。较低的条件数不能解释增益，因为条件数更低的输入投影反而没有帮助。

论文 Muon Mamba 优化器

推荐理由：Muon优化器之前都在Transformer上测试，这篇论文把它用到Mamba-2 130M上，发现输出投影用Muon最划算，训练效率更高，值得看看。

原文

8月3日

11:32

官方账号arXiv cs.LG@Maria Smirnova, Alexey Kravatskiy

论文提出 SignMuon，将 Muon 优化器的更新逐参数取符号压缩为 1 bit。在 CIFAR-10 与 nanoGPT speedrun 实验中，SignMuon 优于 SignSGD，但作者构造线性函数实例证明它可能上升。把符号操作放在线性最小化 Oracle 之前或两侧同样无法保证下降。误差反馈用在 Muon 输出上对所有平滑常数、步长和动量都可能失效；用在梯度上则有效，EF21-MuonSign 在光滑非凸问题上达到 O(T^{-1/2}) 平方梯度范数收敛率。实验里最强的压缩方法是符号放在 Oracle 之后，尽管该配置理论上发散。

论文 Muon SignMuon 误差反馈

推荐理由：把 Muon 更新压成每参数 1 bit 的符号，实验里 sign-after-LMO 最强，尽管理论上会发散，结论很反直觉。

原文

7月29日

11:34

官方账号arXiv cs.LG@Wenzhi Zhong, Edward Milsom, Michael Murray

Sharpness-Aware Minimization（SAM）通过鼓励对参数扰动不敏感来提升泛化，但扰动几何依赖尚未清晰。本文借鉴Muon优化器的矩阵感知思路，为矩阵权重引入逐层谱内扰动，并与AdamW/SGDW或Muon外更新组合。在ImageNet-1K上对ViT-Small/16和ResNet-50的实验表明，谱内步+Muon外步在两类模型上均取得最高验证准确率。该工作揭示了谱范数几何在SAM中的有效性。

AI模型 SAM Muon ImageNet-1K

推荐理由：这个研究把SAM的内扰动改成矩阵谱范数，再用Muon做外更新，在ImageNet的ViT和ResNet上准确率都最高。

原文

7月8日

10:01

官方账号arXiv cs.LG@Yao Fu, Chunxia Zhang, Junmin Liu, Yihang Jin, Haishan Ye, Yuanao Yang

EISAM（Extragradient-Inspired Sharpness-Aware Minimization）是一种新型优化器，通过两步更新过程（预测步骤探索损失景观几何、扰动步骤用基础优化器细化更新）来提升泛化性能。在基准数据集上的实验表明，EISAM在测试准确率和训练效率上持续优于SGD、Adam和SAM。理论分析显示EISAM通过引导参数向曲率更小的平坦极小值收紧泛化界。此外，EISAM降低了对扰动半径的敏感性，简化了超参数调优。

论文 EISAM SAM 优化器

推荐理由：这篇论文提出的EISAM优化器比SAM更鲁棒，调参更简单，在多个架构上准确率更高，适合追求更好泛化性能的深度学习实践者。

原文

7月3日

11:47

官方账号arXiv cs.AI@Gil Harari, Yoel Zimmermann, Ola Tangen Kulseng, Laura Zichi, Chuin Wei Tan, Marc L. Descoteaux, Boris Kozinsky

论文系统比较了Muon、SOAP和SOAP-Muon三种优化器在训练NequIP和Allegro MLIP模型时的表现。实验发现SOAP和SOAP-Muon在收敛速度和最终精度上均显著超越Adam，其中SOAP-Muon综合最优。Muon仅提供部分改进，在部分力监督场景下这些优化器优势更加明显。结果表明优化器选择是MLIP训练中一个被忽视但影响巨大的设计维度。

论文 SOAP Muon Adam

推荐理由：训练MLIP别再默认用Adam了，试试SOAP或SOAP-Muon，收敛更快精度更高，尤其在有部分力监督时提升明显。

原文

7月2日

10:15

官方账号arXiv cs.AI@Hao Huang

论文将Muon优化器解释为隐式残差连接。正交化更新牺牲局部梯度保真度，但改善下游层的表示保留。在受控线性优化中，Muon学习对局部目标拟合慢但下游层易利用的表示。该视角为设计平衡局部下降与下游可用性的优化器提供了新思路。

论文 Muon 优化器残差连接

推荐理由：这篇论文给了Muon一个新视角：它不只是优化器，更像隐式残差连接，专门为下游层保留好的表示。想理解Muon为什么管用的可以看看。

原文

7月1日

09:59

官方账号arXiv cs.LG@Jason R. Brown, Patrick Leask, Lev McKinney

该论文系统研究了语言模型微调时的突现错位现象。作者在Qwen3家族多个模型上实验，发现优化器选择造成7倍的对齐率差异，而模型规模（1B-235B）影响可忽略。Muon优化器通过隐式正则化使LoRA适配器的奇异值分布更均匀，从而最好地保持对齐。额外添加谱正则化损失项可显著恢复Adam和Lion等易错位优化器的对齐性能。

论文 Qwen3 Muon Adam

推荐理由：这篇论文告诉你：选对优化器能把模型对齐率差7倍，Muon比Adam更靠谱，还能用谱正则化补救。

原文

6月30日

12:10

官方账号arXiv cs.LG@Mark Rhee, Jamie Simon, Dhruva Karkada

该论文研究Muon优化器在矩阵分解问题中的参数动力学，发现其与梯度下降有三点关键差异：1）Muon避免从小初始化开始的慢鞍点动力学，以相同速率学习所有顶模，较小模先收敛；2）即使学习率超过局部损失尖锐度的临界阈值，Muon仍保持稳定，允许通过指数学习率退火实现快速收敛；3）Muon流守恒矩阵√(P^T P)-√(Q^T Q)，而梯度流守恒P^T P - Q^T Q。从零初始化时，两者都能找到平衡解。论文还推导了简单设定下的对齐速率，并利用Muon结构属性设计了仅需两步达到近完美对齐的学习率调度。

论文 Muon 矩阵分解优化器

推荐理由：如果你关注优化器理论，这篇论文揭示了Muon比梯度下降更快的机制，并且给出了一个只需两步就对齐参数的学习率调度，很实用。

原文

11:05

官方账号arXiv cs.LG@Marcelina Marjankowska, Valerio Modugno, Paolo Barucca

该论文研究训练过程中Hessian矩阵领先特征向量的动态演化。作者在多层感知机分类任务上，通过位移和逆参与率两个统计量跟踪特征向量变化。结果显示SGD训练下曲率方向逐渐趋于稳定，而Adam则持续重组特征向量。Adam还表现出局部化现象，少量参数主导领先曲率方向。这些发现揭示了优化器差异对训练轨迹的影响。

论文 SGD Adam Hessian

推荐理由：这篇论文分析了SGD和Adam训练中Hessian特征向量的不同行为，发现Adam会让少量参数主导曲率方向，直观解释了为什么两种优化器训练结果不同。

原文

6月25日

10:32

官方账号arXiv cs.LG@Vladimir Bogachev, Vladimir Aletov, Alexander Molozhavenko, Sergei Kudriashov, Maxim Rakhuba

Muon优化器通过谱范数约束执行最速下降，但仅适用于矩阵。Tensorion将这一方法扩展到高阶张量，基于线性最小化预言机（LMO）在张量范数球上进行优化。其LMO通过自适应选择展开矩阵可高效计算，且当限制为二阶张量时精确恢复Muon。在张量计算机视觉任务中，Tensorion相比Adam和现有张量感知基线展现出更优的收敛行为与更稳定的梯度更新。

论文 Tensorion Muon 优化器

推荐理由：想优化张量参数？这篇论文把Muon优雅地推广到高阶张量，实验比Adam更稳健。

原文

10:31

官方账号arXiv cs.LG@Alexander Hägele, Alejandro Hernández-Cano, Atli Kosson, Martin Jaggi

论文提出MD Decoupling优化器修改方法，将每个权重分解为超球面上的固定范数方向与可学习的每行每列幅度增益，以解耦幅度和方向的更新。该方法与Adam和Muon等基础优化器兼容，消除了对权重衰减和warmup的需求。实验表明，MD Decoupling在宽模型和大型MoE模型上均优于精心调优的基线，并允许跨模型宽度直接迁移学习率而不需重新调参。

论文 MD Decoupling Adam Muon

推荐理由：这篇论文提出了一种简单通用的优化器改进方案，能解耦权重幅度和方向，消除权重衰减和warmup，在Adam和Muon上都有效，值得关注。

原文

6月23日

13:22

官方账号arXiv cs.LG@Florian Hübler, Kai Lion, Antonio Orvieto, Niao He

Muown优化器将权重矩阵分解为行幅度和未归一化的方向变量，分别用Adam和Muon更新。研究表明，Muown的方向更新等价于对归一化方向的黎曼步长，而幅度仅调制角度步长，这解释了其稳定性。基于此提出的AngularMuown直接优化归一化方向，并使用可调度的角度乘子与径向幅度更新解耦。在modded nanoGPT速度竞赛中，初步版AngularMuown领先每优化器类别。在Qwen2-0.5B和1.1B参数MoE模型上的实验证实该算法可扩展至更大规模。

论文 Muown AngularMuown 优化器

推荐理由：想加速Transformer预训练？这篇论文把优化器角度步长显式化，新方法AngularMuown在nanoGPT竞赛中领先，还在0.5B和1.1B模型上验证了效果。

原文

6月16日

11:04

官方账号arXiv cs.LG@Kaiyue Wen, Xingyu Dang, Kaifeng Lyu, Tengyu Ma, Percy Liang

论文提出Hyperball，一种简单优化器包装器，固定权重矩阵及其更新量的Frobenius范数，解决Muon等优化器在大模型（如1.2B参数Qwen3模型）上相比AdamW加速效果衰减的问题。实验表明，Muon+Hyperball实现20-30% token等效加速，并改善学习率在宽度和深度上的迁移。该方法受理论启发：权重衰减导致平衡权重范数仅依赖于超参数，进而决定角度学习率。

论文 Hyperball Muon Qwen3

推荐理由：Muon在大模型上加速效果缩水？Hyperball通过固定矩阵范数，让Muon在1.2B Qwen3上又快了20-30%，还更好调参。

原文

6月9日

12:34

官方账号arXiv cs.LG@Andries Rosseau, Robert Müller, Ann Nowé

精选

深度神经网络在非平稳环境下的持续训练常导致可塑性逐渐丧失，限制进一步学习。本文首次将可塑性与经验神经正切核联系起来，并识别出动态等距性（各层雅可比奇异值接近1）是保持持续学习可塑性的关键机制。作者重新审视了一类几乎处处等距且保持通用Lipschitz函数逼近能力的网络，证明近动态等距性与表达性非线性表示兼容。针对通用架构，提出了高效的等距促进正则化方案，并发现其能重新激活休眠的ReLU单元。基于此，开发了AdamO优化器，将等距正则化与梯度更新解耦。在多个持续学习基准上，该方法一致匹配或超越现有方法。

论文持续学习可塑性动态等距性

推荐理由：持续学习中的可塑性丧失是困扰AI训练的核心难题，本文从理论到实践给出了新解法——做持续学习、强化学习或终身学习的开发者，值得关注这个等距性视角。

原文

12:26

官方账号arXiv cs.LG@Brian Coyle, Snehal Raj, Virag Umathe, El Amine Cherrat, Elham Kashefi

精选

训练参数化量子电路（PQC）时，梯度估计的测量成本是主要瓶颈，传统参数平移规则的成本随参数数量线性增长。本文提出基于前向自动微分的梯度估计框架，通过平均可调数量的随机方向导数获得无偏梯度，并统一了SPSA、随机坐标下降和参数平移规则。在此框架下，作者推导出QUIVER（量子迭代V自适应估计规则）优化器，实现最小测量成本分配。数值实验表明，前向梯度在训练含60量子比特、1770参数的量子神经网络时，效率比参数平移规则高出数个数量级。QUIVER在量子近似优化算法和变分量子本征求解器任务上，也优于iCANS和gCANS等测量节俭优化器。

论文量子机器学习参数化量子电路梯度估计

推荐理由：量子机器学习团队终于有了一个能大幅降低测量成本的梯度估计框架——QUIVER在60量子比特规模上效率提升数个数量级，做量子电路优化的研究者可以直接用。

原文

11:02

官方账号arXiv cs.AI@Tianyu Ruan, Fengzhuo Zhang, Shuche Wang, Shihua Zhang

精选72°

Muon 作为预训练大语言模型和视觉分类器的新兴优化器，其效率优势已超过 Adam 和 SGD，但特征学习优势尚不明确。本文通过鲁棒性和迁移性视角研究 Muon 的特征学习优势：在损坏图像和文本上评估预训练模型，发现 Muon 学到的特征比 Adam 和 SGD 更鲁棒，且这种优势体现在更大的 logit 边际上。通过下游任务的线性分类器或微调，Muon 的特征迁移效果更好，这得益于隐藏状态的有效秩更高。在含多组件的分类问题中，论文从理论上证明了 Muon 能获得更大边际和更高有效秩。

论文 Muon 优化器鲁棒性

推荐理由：Muon 优化器在鲁棒性和迁移性上全面超越 Adam，做预训练或迁移学习的团队值得关注，尤其是需要模型对噪声和下游任务更鲁棒的场景。

原文

6月5日

12:08

官方账号arXiv cs.AI@Senmiao Wang, Tiantian Fang, Haoran Zhang, Yushun Zhang, Kunxiang Zhao, Alex Schwing, Ruoyu Sun

精选

研究人员提出了一种名为PC Layer（Preconditioning Layer）的权重参数化方法，通过在训练过程中对权重矩阵进行低阶多项式预处理，稳定其奇异值谱，从而改善大型语言模型（LLM）的预训练效果。该方法与AdamW和Muon优化器兼容，在Llama-1B模型上验证了其优于标准Transformer架构。训练后，预处理权重可合并回原始架构，不增加推理开销。理论证明，均匀限制每层奇异值能确保梯度下降在深层线性网络中收敛到全局最小值。代码已开源。

论文预训练权重预处理奇异值谱

推荐理由：这项研究解决了LLM训练中权重矩阵病态条件数导致的收敛不稳定问题，做预训练优化的团队可以直接在Llama等模型上尝试，无需额外推理成本。

原文

11:56

官方账号arXiv cs.AI@Thomas T. Zhang, Alok Shah, Yifei Zhang, Vincent Zhang, Nikolai Matni, Max Simchowitz

精选

论文提出一种名为双预处理（DoPr）的新优化范式，专门解决深度学习模型在部署时因自身预测滚动（如自回归语言模型、流生成模型、机器人策略学习）导致的误差累积问题。DoPr 结合梯度预处理（如 Adam、Muon）和激活预处理（如 KFAC），能直接提升下游任务性能（如成功率、生成质量），而不一定改善验证损失。这挑战了传统以验证损失为优化目标的评估方式，为训练-测试不匹配问题提供了新的优化维度。实验表明，DoPr 在多种测试时反馈（TTF）场景中作为即插即用模块有效。

论文优化器测试时反馈误差累积

推荐理由：DoPr 解决了训练和部署性能不一致的痛点，做自回归模型、流生成或机器人学习的团队可以直接尝试这个即插即用优化器，可能会发现验证损失没变但实际效果提升。

原文

6月4日

01:25

elvis@omarsar0

72°

微软研究院提出SkillOpt方法，将Agent的技能文档视为可训练的外部状态，通过一个优化器模型对技能文件进行验证驱动的编辑（增、删、改指令），而Agent本身保持不变。实验显示，SkillOpt在52个（模型、基准、框架）组合中表现最佳或持平，在GPT-5.5上直接聊天提升23.5分，Codex提升24.8分，Claude Code提升19.1分，且优于人类编写的技能、TextGrad等方法。该方法不增加推理成本，学到的技能可跨模型和框架迁移。

论文微软研究院 SkillOpt 智能体

推荐理由：做AI Agent开发的团队常手工写技能文档但效果有限，SkillOpt用优化器自动迭代技能文件，零推理开销且效果显著，值得尝试。

原文

6月3日

10:28

官方账号arXiv cs.LG@Xianliang Li, Zihan Zhang, Weiyang Liu, Han Bao

Muon优化器在大语言模型训练中表现出色，但其动量机制的理论作用一直不明确。本文通过将动量视为一种频谱滤波器，证明了在信号加扰动的梯度模型下，动量能有效抑制扰动并保留主导信号，从而扩大两者间的频谱间隙。这种间隙的扩大稳定了传递给Muon正交化步骤的矩阵的奇异子空间，使更新更可靠。实验表明，先应用动量再进行正交化比反向顺序或移除动量能更好地对齐梯度信号。该理论为理解其他基于矩阵的优化器中动量的作用提供了起点。

论文 Muon 动量频谱滤波

推荐理由：做LLM训练或优化器研究的团队，这篇论文把Muon动量从玄学变成了可解释的频谱滤波机制，看完能直接指导你调参——先降噪再正交化，效果更稳。

原文

6月2日

11:13

官方账号arXiv cs.LG@Jianhao Xu, Zhuang Yang

现有深度神经网络优化器多基于ℓ₂范数或ℓ∞范数，但两者各有缺陷：ℓ₂范数在高曲率方向占主导，导致低曲率方向更新缓慢；ℓ∞范数在平坦区域易振荡。本文提出动态p值的ℓ_p范数方案，融入SGD和带动量SGD，形成LPSGD和LPSGDM优化器。训练早期用大p（>2）抑制高曲率方向，后期p逐渐降至2实现稳定更新，灵感来自余弦退火策略。理论证明非凸场景下收敛率达O(T^{-1/2})，在CIFAR-10/100和ImageNet-1K上使用VGG-11、ResNet-18/50验证了更好泛化性能。

论文优化器 ℓ_p范数泛化性能

推荐理由：做深度学习训练调参的开发者，这个动态p范数方案解决了ℓ₂和ℓ∞范数的极端问题，直接替换SGD就能提升泛化，值得在CIFAR/ImageNet任务上试试。

原文

5月21日

10:22

官方账号arXiv cs.LG@Tom Jacobs, Rohan Jain, Rebekka Burkholz

精选

HORST是一种新型优化器，通过组合自适应优化器的L∞稳定性和L1稀疏偏置，解决了稀疏Transformer训练中稳定性和稀疏性难以兼得的问题。它利用非交换算子组合优化几何，基于双曲镜像映射实现鲁棒稀疏训练。实验表明，HORST在视觉和语言任务的Transformer稀疏训练中，在所有稀疏度水平上均显著优于AdamW基线，尤其在高稀疏度下提升巨大。这项工作为高效稀疏模型训练提供了新思路。

论文稀疏训练优化器 Transformer

推荐理由：做稀疏模型训练或Transformer优化的研究者，HORST直接解决了AdamW在高稀疏度下效果差的问题，值得在实验中尝试替换优化器。

原文

5月20日

10:11

官方账号arXiv cs.AI@Thomas Massena, Corentin Friedrich, Mathieu Serrurier

精选

这篇论文提出了一种数据驱动的优化器设计方法，能够根据梯度与激活统计信息动态选择每层神经网络的最优更新几何结构，在SGD和Muon之间自适应插值。该方法基于单步随机特征回归代理模型推导出闭式准则，并整合参数级预处理，可恢复SGD、Muon、Adam和MuAdam作为特例。通过高效计算策略，仅增加约3%的运行开销，在三种训练场景中与Muon和AdamW的最佳性能持平或更优。这项工作为超越静态几何的优化器设计开辟了新路径。

论文优化器自适应几何 Muon

推荐理由：这篇论文解决了优化器几何结构固定、无法适应问题几何的问题，做深度学习训练和优化器研究的开发者可以直接参考其自适应方法，有望提升模型训练效率。

原文

5月18日

12:09

官方账号arXiv cs.AI@Yishun Lu, Wes Armour

精选

多模态自回归模型在图像生成和文本理解联合训练时，存在模态竞争导致优化不稳定、大batch训练受限的问题。研究发现AdamW等一阶优化器对跨模态梯度异质性敏感，而二阶预条件方法（如SOAP）能提供更稳定的对齐基础。作者提出ML-FOP-SOAP框架，通过Fisher正交投影抑制方差引起的模态冲突，并引入分层折叠策略降低计算开销。在Janus和Emu3模型上，该方法在batch size 8192下训练稳定，样本效率提升1.4倍，训练速度提升1.5倍。

论文多模态模型优化器二阶优化

推荐理由：多模态模型训练中模态竞争是常见痛点，做多模态预训练或大batch训练的团队可以直接参考这个二阶优化方案，能显著提升训练效率和稳定性。

原文

5月13日

21:36

21:36官方一手Moonshot AI: Kimi Blog（资讯）

Moonshot AI 发布了关于 Muon 优化器的首次大规模训练实践技术报告。Muon 是一种基于矩阵正交化的优化器，旨在提升大模型训练效率。报告详细介绍了 Muon 在 1B 到 7B 参数模型上的训练效果，显示其在收敛速度和最终性能上优于 AdamW。该工作为大规模深度学习训练提供了新的优化器选择，尤其对计算资源有限的团队具有参考价值。

论文 Muon优化器大规模训练 Moonshot AI

事件专题

推荐理由：Muon 优化器有望替代 AdamW 成为大模型训练的新标配，做预训练或微调的团队值得关注其收敛速度和资源节省效果。

原文

19:12

官方账号arXiv cs.LG@Kexuan Shi, Hanxuan Li, Zeju Qiu, Yandong Wen, Simon Buchholz, Weiyang Liu

精选

Pion 是一种用于大语言模型训练的新型优化器，通过左右正交变换更新权重矩阵，在整个训练过程中保持其奇异值不变。与 Adam 和 Muon 等加法优化器不同，Pion 在固定权重矩阵谱范数的同时调节其几何结构，提供了一种稳定的优化机制。实验表明，Pion 在 LLM 预训练和微调中均能作为标准优化器的稳定且有竞争力的替代方案。

论文优化器大语言模型谱保持

推荐理由：Pion 解决了传统优化器在训练中破坏权重矩阵谱结构的问题，做 LLM 训练的研究者和工程师值得关注，尤其适合追求训练稳定性和模型质量的团队。

原文