11:55官方账号arXiv cs.LG@Abhishek Shankar本文系统对比笛卡尔坐标与Levi-Civita坐标在平滑四极势扰动开普勒问题中的表现。使用Levi-Civita哈密顿分裂,最大相对能量误差保持2.1×10⁻⁵,偏心率e=0.99时笛卡尔分裂不稳定。在固定壳构造下,高偏心率测试中正则化模型40/40次生成有限轨迹,笛卡尔模型0/40。正则化残差存在严重病态问题,正交化可恢复基线拟合,但小型MLP的轨迹误差仍为O(1)。这是一项受控的证伪加权衡研究,未解决精确神经残差学习。论文Levi-Civita coordinatesKepler problem哈密顿动力学推荐理由:这篇论文用实验数据说明了Levi-Civita坐标在神经哈密顿动力学中能稳定高偏心率轨迹,但优化条件更差,适合想了解正则化坐标利弊的研究者。原文稍后读已读值得跟进有用关注 Levi-Civita coordinates
11:24官方账号arXiv cs.LG@Aratrika Mustafi, Soumya Mukherjee, Bharath K. Sriperumbudur精选本文从概率梯度流的角度重新审视了Muon优化器,将其视为一种正则化的镜像/近端步骤。作者发现正则化的正交化映射是核范数的光滑Fenchel对偶平滑的梯度,从而将Muon更新与动量作为对偶坐标联系起来。通过将Muon从单矩阵参数提升到有限粒子概率目标,推导出惯性连续时间极限,并建立了相空间平均场方程。该流被证明是一种阻尼哈密顿概率动力学,其哈密顿能量单调递减。在额外假设下,论文证明了目标间隙的指数收敛速率,并研究了平均场极限方程的适定性和传播混沌保证。最后,将公式扩展到希尔伯特值特征映射,得到适用于平滑Transformer混合专家模型的块状Muon概率流。论文Muon优化器概率梯度流哈密顿动力学推荐理由:这篇论文为Muon优化器提供了严格的数学基础,揭示了其与哈密顿动力学的深层联系。对优化理论研究者或想深入理解Muon工作机制的深度学习从业者,值得细读。原文稍后读已读值得跟进有用关注 Muon优化器