论文10:31
MD解耦：通过解耦权重向量的幅度与方向改进神经网络训练这篇论文提出了一种简单通用的优化器改进方案，能解耦权重幅度和方向，消除权重衰减和warmup，在Adam和Muon上都有效，值得关注。
#MD Decoupling
共 1 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「MD Decoupling」标签的资讯、产品与论文，按刊登时间排，新的在上。
6月25日
这篇论文提出了一种简单通用的优化器改进方案，能解耦权重幅度和方向，消除权重衰减和warmup，在Adam和Muon上都有效，值得关注。