论文10:38反馈对齐中的秩坍缩问题及解决方案这篇论文揭示了反馈对齐在深层网络中失效的根本原因——低维梯度动力学,并给出了可落地的解决方案(Muon+归一化)。做生物启发学习或替代反向传播研究的团队值得关注,实验方法可以直接复现。#反馈对齐#秩坍缩#Muon优化器#正交化aarXiv cs.LG@Gauthier Boeshertz 等 3 人原文稍后读已读值得跟进有用关注 反馈对齐
论文精选11:24Muon优化器的哈密顿概率梯度流视角这篇论文为Muon优化器提供了严格的数学基础,揭示了其与哈密顿动力学的深层联系。对优化理论研究者或想深入理解Muon工作机制的深度学习从业者,值得细读。#Muon优化器#概率梯度流#哈密顿动力学#平均场理论aarXiv cs.LG@Aratrika Mustafi 等 3 人原文稍后读已读值得跟进有用关注 Muon优化器
论文中美对照官方一手21:36Moonshot AI 发布 Muon 优化器大规模训练实践报告Muon 优化器有望替代 AdamW 成为大模型训练的新标配,做预训练或微调的团队值得关注其收敛速度和资源节省效果。#Muon优化器#大规模训练#Moonshot AI#优化器1 个信源在谈事件专题M官方一手Moonshot AI: Kimi Blog2 个信源在谈原文稍后读已读值得跟进有用关注 Muon优化器