11:32
官方账号arXiv cs.LG@Maria Smirnova, Alexey Kravatskiy
推荐理由：把 Muon 更新压成每参数 1 bit 的符号，实验里 sign-after-LMO 最强，尽管理论上会发散，结论很反直觉。
SignMuon
共 1 条相关 AI 资讯
8月3日
11:32
论文提出 SignMuon，将 Muon 优化器的更新逐参数取符号压缩为 1 bit。在 CIFAR-10 与 nanoGPT speedrun 实验中，SignMuon 优于 SignSGD，但作者构造线性函数实例证明它可能上升。把符号操作放在线性最小化 Oracle 之前或两侧同样无法保证下降。误差反馈用在 Muon 输出上对所有平滑常数、步长和动量都可能失效；用在梯度上则有效，EF21-MuonSign 在光滑非凸问题上达到 O(T^{-1/2}) 平方梯度范数收敛率。实验里最强的压缩方法是符号放在 Oracle 之后，尽管该配置理论上发散。