AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：Muon优化器×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月10日
10:38
10:38arXiv cs.LG@Gauthier Boeshertz, Razvan Pascanu, Claudia Clopath
反向传播（BP）因需要反馈权重与前向权重的转置一致而被认为生物上不可信。反馈对齐（FA）使用固定随机反馈权重来规避此问题，但在深层架构中效果不佳。研究发现FA误差的有效秩远低于BP，限制了参数空间的探索。通过使用Muon优化器正交化权重更新和隐藏活动归一化促进激活正交性，可提高FA的有效维度。在CIFAR100和ResNet-18上，这些方法将准确率提升了9个百分点。
论文反馈对齐秩坍缩Muon优化器正交化深度学习
推荐理由：这篇论文揭示了反馈对齐在深层网络中失效的根本原因——低维梯度动力学，并给出了可落地的解决方案（Muon+归一化）。做生物启发学习或替代反向传播研究的团队值得关注，实验方法可以直接复现。
原文
5月25日
11:24
11:24arXiv cs.LG@Aratrika Mustafi, Soumya Mukherjee, Bharath K. Sriperumbudur
精选
本文从概率梯度流的角度重新审视了Muon优化器，将其视为一种正则化的镜像/近端步骤。作者发现正则化的正交化映射是核范数的光滑Fenchel对偶平滑的梯度，从而将Muon更新与动量作为对偶坐标联系起来。通过将Muon从单矩阵参数提升到有限粒子概率目标，推导出惯性连续时间极限，并建立了相空间平均场方程。该流被证明是一种阻尼哈密顿概率动力学，其哈密顿能量单调递减。在额外假设下，论文证明了目标间隙的指数收敛速率，并研究了平均场极限方程的适定性和传播混沌保证。最后，将公式扩展到希尔伯特值特征映射，得到适用于平滑Transformer混合专家模型的块状Muon概率流。
论文Muon优化器概率梯度流哈密顿动力学平均场理论优化理论
推荐理由：这篇论文为Muon优化器提供了严格的数学基础，揭示了其与哈密顿动力学的深层联系。对优化理论研究者或想深入理解Muon工作机制的深度学习从业者，值得细读。
原文