论文10:56
Muon训练的Transformer在后grokking阶段出现表示-读出界面崩溃Muon grok虽快，后grokking会崩到27.59%；冻结embedding/readout就能稳。想用Muon训Transformer的注意。
#模块化加法
共 1 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「模块化加法」标签的资讯、产品与论文，按刊登时间排，新的在上。
8月10日
Muon grok虽快，后grokking会崩到27.59%；冻结embedding/readout就能稳。想用Muon训Transformer的注意。