Mixture of Experts(MoE,混合专家)是大语言模型中一种稀疏激活架构:模型内部包含多个'专家'子网络,每个 token 只激活其中一小部分参数,从而在总参数量巨大的同时保持推理成本可控。2026 年 10 月前后,MoE 已成为大模型的主流选择,从 40B 级开源编程模型到超过 1 万亿参数的多模态旗舰,几乎都采用这一架构。
MoE 模型的近期进展
MoE 工程化与优化方向
除模型发布外,围绕 MoE 的训练与推理优化也在快速演进。DRMoET 论文提出新的负载均衡方案,声称超越 DeepSeek 的无辅助损失方法(来源);AWS 在 Amazon SageMaker AI 上优化 MoE 内核,吞吐量提升 10%;学术侧则出现了 TokenGate 可学习 token 剪枝,针对长上下文预填充提速并降低显存占用。应用层面,MLExpert 用 35B MoE 构建自主机器学习工程智能体,还有开源模型尝试跨对话记忆复用(MemT 1.0)。
当前焦点与观察点
当前 MoE 的竞争焦点集中在三处:一是稀疏比例与负载均衡,如何让专家分工更充分仍无公认最优解;二是推理基础设施,大规模专家并行的内核优化直接决定服务成本;三是小型化,把 MoE 塞进 60GB 级显存意味着开源生态正在弥合旗舰模型与本地部署之间的差距。值得观察的是,万亿参数开源 MoE 的出现是否会改变闭源模型的市场格局,以及路由机制的稳定性与可解释性研究能否跟上模型规模的扩张。