AITOPAI热报

mixture-of-experts

general · First seen 2026-05-22 · Last seen 2026-10-28 · 242 mentions

Overview

Mixture-of-experts（MoE，混合专家）是一种稀疏模型架构：模型由大量“专家”子网络构成，每个 token 只激活其中一小部分，从而在参数量巨大的同时控制计算开销。当前主流开源大模型普遍采用这一路线，围绕它的研究也集中在负载均衡、推理效率和部署成本上。

Mixture-of-experts 近期进展

  • StepFun 开源 Step 5 Preview：600B 参数 MoE，100 万上下文:StepFun 开源了 Step 5 Preview，总参数 600B、每 token 激活 27B，支持 100 万 token 上下文，是 MoE“大总参、小激活”设计思路的又一代表性开源实现。
  • ID Balancing：通过 PID 负载控制实现稀疏 MoE 稳定训练:DeepSeek 团队提出用 PID 控制器思路做专家负载均衡，减少训练中的路由震荡；另一篇 DRMoET 论文 则声称在负载均衡上超越 DeepSeek 的无辅助损失方案，显示这一方向仍有迭代空间。
  • Accordion 发布：单一 MoE 模型支持 5 档推理预算:Accordion 让同一个模型可在多档计算预算间切换，为 MoE 的弹性推理提供了新思路。配套的工程优化也在推进，AWS 在 SageMaker 上优化 MoE 内核，吞吐量提升 10%。

    • 当前焦点与观察点

    MoE 的争议和观察点主要集中在三处。一是负载均衡策略：辅助损失、无辅助损失、PID 控制等方案各有取舍，训练稳定性仍是公开问题。二是推理与部署效率：激活参数小不等于部署容易，显存占用、路由开销和内核优化决定了实际性价比，社区也在关注60GB 显存内最佳开源 MoE 编程模型这类消费级部署话题。三是稀疏化与长上下文的结合：TokenGate 通过可学习 token 剪枝加速长上下文预填充，说明 MoE 之外的路由式稀疏化也在崛起。总体看，mixture-of-experts 已从小众架构变成开源大模型的默认选择，竞争焦点正从“堆专家数量”转向训练稳定性和单位算力产出。

    Coverage

    10 on file