Papers10:33Chinese content正交约束对语言模型预训练帮助有限:系统性研究指向球面优化研究者在 200B tokens 规模上复检了正交约束的各种玩法,结论是真正起作用的只是球面优化,还顺手拆穿了 5 个先前方法的增益来源。#Muon#球面优化#预训练#LLMaarXiv cs.LG@Kai Hu et al. (5)SourceRead laterReadWorth followingUsefulFollow Muon