MMOE：用高效专家设计现代化扩散Transformer

MMOE (ModernMOE) 是一种对SiT风格扩散Transformer的现代化改造，系统性地集成了路由专家、共享与轻量专家、门控残差路由及注意力残差信息复用。所有实验在单个8卡H100节点上以batch size 256训练40万步。在相同预算下，MMOE在每个记录检查点都达到更低的FID，即每训练步收敛更快，且优于密集和中等稀疏专家基线。路由分析显示专家在深度上稳定专业化，轻量路由被大量使用，去噪过程中步骤间的路由变化适度。这表明AIGC基础模型可以跟随LLM的平衡扩展路径，而不是简单地增加总参数量和稀疏比。