10:35
官方账号arXiv cs.LG@Ben Anson, Conor Houghton, Edward Milsom
推荐理由：Muon 优化器跟 LoRA 本来不搭，这篇论文用数学近似硬凑出了个 sMuon，微调性能有提升，实现还只用矩阵乘法。
sMuon
共 1 条相关 AI 资讯
8月17日
10:35
Muon 优化器在神经网络预训练中优于常见替代方法，但在 PEFT（参数高效微调）中很少使用。原因在于 LoRA 的低秩参数化无法直接对权重更新做正交化。作者提出 sMuon，通过线性化和最小二乘近似松弛的 Muon 目标，且实现只用 matmul 运算。在 SFT 和 ReLoRA 预训练实验中，sMuon 相比基线有适度性能提升。