论文11:32SignMuon:Muon更新的单比特符号压缩与误差反馈极限把 Muon 更新压成每参数 1 bit 的符号,实验里 sign-after-LMO 最强,尽管理论上会发散,结论很反直觉。#Muon#SignMuon#误差反馈#优化器aarXiv cs.LG@Maria Smirnova, Alexey Kravatskiy原文稍后读已读值得跟进有用关注 Muon
论文10:09分布式优化中误差反馈算法的紧致理论分析做分布式机器学习或联邦学习的开发者,这篇论文给出了误差反馈算法的理论极限,帮你理解通信压缩到底能省多少而不损失收敛性,值得细读。#分布式优化#误差反馈#通信压缩#收敛性分析aarXiv cs.LG@Daniel Berg Thomsen 等 3 人原文稍后读已读值得跟进有用关注 分布式优化