11:49
官方账号arXiv cs.LG@Yanhao Jia, Jiepeng Wang, Haibin Huang, Chi Zhang, Erik Cambria, Xuelong Li
推荐理由：这篇论文把LLM里高效扩展的思路用到了扩散Transformer上，MMOE在单机8卡H100就跑出了更低的FID，比加参数更实用。
MMOE
共 1 条相关 AI 资讯
7月28日
11:49
MMOE (ModernMOE) 是一种对SiT风格扩散Transformer的现代化改造，系统性地集成了路由专家、共享与轻量专家、门控残差路由及注意力残差信息复用。所有实验在单个8卡H100节点上以batch size 256训练40万步。在相同预算下，MMOE在每个记录检查点都达到更低的FID，即每训练步收敛更快，且优于密集和中等稀疏专家基线。路由分析显示专家在深度上稳定专业化，轻量路由被大量使用，去噪过程中步骤间的路由变化适度。这表明AIGC基础模型可以跟随LLM的平衡扩展路径，而不是简单地增加总参数量和稀疏比。