Latest

Every published item, in order · 825 items
May 26
May 25
May 23
May 22
May 21
May 20
May 19
PapersSelected11:10
Chinese content对称性兼容优化器设计原则:嵌入层、LM头、SwiGLU MLP与MoE路由器

这篇论文解决了深度学习优化器忽视架构对称性的根本问题,做大规模语言模型预训练的团队值得关注——它可能成为替代AdamW的新范式,实验显示能稳定提升损失和训练稳定性。

arXiv cs.LG@Tim Tsz-Kit Lau, Weijie SuSource