11:49
官方账号arXiv cs.LG@Yanhao Jia, Jiepeng Wang, Haibin Huang, Chi Zhang, Erik Cambria, Xuelong Li
推荐理由：这篇论文把LLM里高效扩展的思路用到了扩散Transformer上，MMOE在单机8卡H100就跑出了更低的FID，比加参数更实用。
专家混合
共 3 条相关 AI 资讯
7月28日
11:49
MMOE (ModernMOE) 是一种对SiT风格扩散Transformer的现代化改造，系统性地集成了路由专家、共享与轻量专家、门控残差路由及注意力残差信息复用。所有实验在单个8卡H100节点上以batch size 256训练40万步。在相同预算下，MMOE在每个记录检查点都达到更低的FID，即每训练步收敛更快，且优于密集和中等稀疏专家基线。路由分析显示专家在深度上稳定专业化，轻量路由被大量使用，去噪过程中步骤间的路由变化适度。这表明AIGC基础模型可以跟随LLM的平衡扩展路径，而不是简单地增加总参数量和稀疏比。
6月17日
09:41
09:41
官方账号arXiv cs.AI@Mikołaj Zasada, Łukasz Struski, Jacek Tabor, Marcin Kurdziel
推荐理由：稀疏MoE的top-k路由不灵活还浪费算力，SoftMoE用可微路由让模型自己学会少用专家，性能却不输，代码开源了。
6月8日
10:12
10:12
官方账号arXiv cs.AI@Fatema Siddika, Md Anwar Hossen, Tanwi Mallick, Ali Jannesari
精选
推荐理由：SETA解决了LLM持续学习中任务知识冲突的核心痛点，做多任务模型训练或知识迁移的团队可以直接参考其专家分解思路，值得关注其稀疏子空间设计。