11:32
官方账号arXiv cs.AI@Chuyan Chen, Peng Sun, Kun Yuan
推荐理由：写了个新优化器CMuon，训练扩散Transformer比AdamW快两倍多，675M模型200轮就跑到FID 1.18，厉害得很。
CMuon
共 1 条相关 AI 资讯
8月4日
11:32
CMuon是一种针对Diffusion Transformer（DiT）训练的新优化器，通过将参数矩阵分块后再做正交化，解决了原版Muon在后期收敛停滞的问题。在ImageNet 256上，用CMuon训练的675M参数DiT仅用200个epoch就达到FID 1.18。相比AdamW，训练速度提升超过2倍。该方法能有效避免融合张量引发的隐式子空间耦合，保持更新方向准确。