11:24arXiv cs.LG@Aratrika Mustafi, Soumya Mukherjee, Bharath K. Sriperumbudur精选本文从概率梯度流的角度重新审视了Muon优化器,将其视为一种正则化的镜像/近端步骤。作者发现正则化的正交化映射是核范数的光滑Fenchel对偶平滑的梯度,从而将Muon更新与动量作为对偶坐标联系起来。通过将Muon从单矩阵参数提升到有限粒子概率目标,推导出惯性连续时间极限,并建立了相空间平均场方程。该流被证明是一种阻尼哈密顿概率动力学,其哈密顿能量单调递减。在额外假设下,论文证明了目标间隙的指数收敛速率,并研究了平均场极限方程的适定性和传播混沌保证。最后,将公式扩展到希尔伯特值特征映射,得到适用于平滑Transformer混合专家模型的块状Muon概率流。论文Muon优化器概率梯度流哈密顿动力学平均场理论优化理论推荐理由:这篇论文为Muon优化器提供了严格的数学基础,揭示了其与哈密顿动力学的深层联系。对优化理论研究者或想深入理解Muon工作机制的深度学习从业者,值得细读。原文