训练稳定性相关 AI 资讯

8月10日

10:56

官方账号arXiv cs.LG@Ali Janati, Kaoutar El Maghraoui, Andrei Kanavalau, Anass Belfatmi

论文报告，Muon优化器训练Transformer解(a+b) mod 113时，虽比AdamW更快grok，但9种配置均在后grokking阶段失去泛化，5个种子中有4个的AdamW参考准确率跌到27.59%。梯度降到10^-6后，Muon的步长弹性为-0.03，AdamW为+1.5，Muon组每参数移动快8.0倍。冻结嵌入/读出层可消除崩溃：451,400步和5个配对种子中，未冻结组出现137-321次低于阈值评估，冻结组为零。傅里叶滤波显示掩蔽场景下任务对齐族单独达100%，完整模型仅45.85%，重新缩放可恢复99.9%。

论文 Muon AdamW grokking

推荐理由：Muon grok虽快，后grokking会崩到27.59%；冻结embedding/readout就能稳。想用Muon训Transformer的注意。

原文

6月23日

10:43

官方账号arXiv cs.LG@Milton Mondal, Sushovan Chanda, Mohamad Mahdi Alawieh, Brijesh Sukhadiya, Donatus Krah, Clinton Gonsalves, Antonios Ntolkeras, Silvio O. Rizzoli, Ali H. Shaib

标准Pauli测量下量子神经网络输出被约束在[-1,1]区间，导致交叉熵损失对logit差异敏感度不足，梯度被抑制。本文首次将这一效应定义为测量诱导logit收缩。提出可学习的量子测量温度（QMT）参数，在损失函数之前重新缩放量子测量输出，补偿物理测量范围限制。QMT不改变量子电路结构或测量算子。在荧光显微图像与六类Fashion MNIST实验中，QMT一致提升了logit分离度、梯度强度和训练稳定性，并提高了分类准确率。

论文 Hybrid QNNs QMT Fashion MNIST

推荐理由：这篇论文找到了混合量子神经网络训练不稳定的一个隐藏原因——测量值范围太小，并提出了一个简单的可学习缩放参数QMT来解决。实验在蛋白质分类和Fashion MNIST上都有效果。

原文

6月2日

12:06

官方一手arXiv: DeepSeek@Boao Kong, Weichen Jia, Engao Zhang, Guohong Li, Yonghan Dong, Yao Wang, Yaoyuan Wang, Yunke Peng, Kun Yuan

低精度训练在降低大模型训练成本的同时，常因少数算子的数值不稳定导致训练失败。论文提出GNMR（梯度范数与均值比）轻量控制器，通过比较当前梯度范数与历史均值，并结合Δ-GNMR检测短窗口内的突变，在固定预算和锁定间隔内执行恢复操作，无需改变数值格式或底层实现。在激活量化、DeepSeek式训练和LLaMA-2 13B微调等场景中，GNMR以稀疏的恢复动作保持高保真质量。该方法为低精度训练提供了一种后端无关的稳定性控制方案。

论文低精度训练训练稳定性 GNMR

推荐理由：低精度训练是降低大模型成本的关键，但数值不稳定常让训练白费。GNMR用轻量控制解决了这个痛点，做大规模训练或量化训练的团队值得关注，可以直接集成到现有流程中。

原文

5月21日

10:59

官方账号arXiv cs.AI@Dayal Singh Kalra, Maissam Barkeshli

精选

本文提出一个框架，通过三个指标量化超参数迁移效果：缩放律拟合质量、外推鲁棒性、参数化导致的渐近损失惩罚。研究发现，μP 相比标准参数化（SP）在 AdamW 训练中的优势，主要源于嵌入层学习率的最大化。SP 中嵌入层学习率是瓶颈，导致训练不稳定；将其按宽度因子放大以匹配 μP 可显著平滑训练并改善迁移。此外，权重衰减改善缩放律拟合，但在固定 token-per-parameter 设置下会损害外推鲁棒性。

论文超参数迁移嵌入层学习率 μP

推荐理由：做 LLM 训练调参的团队会关心——嵌入层学习率是 μP 优势的关键，直接放大 SP 的嵌入层学习率就能获得类似效果，值得在实验中验证。

原文