Mixture（全称 Mixture of Experts，简称 MoE）是一种大模型架构设计：模型内部包含多个“专家”子网络，推理时只激活其中一小部分，从而在参数量做大的同时控制计算成本。目前它是主流前沿模型的主流选择之一，从开源权重到云端推理服务都在围绕它做优化。
MoE 近期模型发布动态
MoE 架构在开源社区持续放量。Recursive 发布首个开源权重的编程模型 Flint，采用 40B 参数的 MoE 架构，面向代码场景（Recursive 发布首个开源权重编程模型 Flint，40B 参数 MoE 架构）。StepFun 则开源了 Step 5 Preview：600B 总参数、27B 激活参数的 MoE 模型，支持 100 万 token 上下文（StepFun 开源 Step 5 Preview：600B 参数 MoE，100 万上下文）。
智能体方向也在密集采用 MoE。Sage-A1.5（35B MoE）强化了长程任务与科学探索能力（Sage-A1.5 发布：35B MoE 智能体模型强化长程任务与科学探索能力）；MLExplorer 类的 MLExpert 同样以 35B MoE 实现自主机器学习工程（MLExpert：35B MoE 智能体模型实现自主机器学习工程）。另有 UniWALM 尝试将视频、动作、语言统一进单一模型用于机器人操控，显示 MoE 思路正在向多模态和具身方向扩展（UniWALM 将视频、动作、语言统一进单一模型用于机器人操控）。
Mixture of Experts 的优化与争议
MoE 的训练与推理成本是当前主要争论点。负载均衡是核心难题，DRMoET 论文声称其方案超越 DeepSeek 的无辅助损失方法，是否能被社区复现值得跟踪（DRMoET 论文：MoE 负载均衡声称超越 DeepSeek 无辅助损失方案）。推理侧，AWS 在 Amazon SageMaker AI 上优化了 MoE 内核，吞吐量提升 10%（AWS 优化 Amazon SageMaker AI 上的 MoE 内核，吞吐量提升 10%）；TokenGate 则用可学习的 token 剪枝降低长上下文预填充的显存与计算开销（TokenGate：可学习的 token 剪枝让长上下文预填充更快更省显存）。此外，MemT 1.0 尝试把跨对话记忆内化为模型自身能力，代表 MoE 之外的另一条效率路线（MemT-1.0 发布：把记忆内化为模型自身能力的新架构）。
当前焦点与观察点
综合来看，Mixture of Experts 的焦点集中在三点：一是“总参数大、激活小”的稀疏配方成为开源大模型的默认选择；二是负载均衡与内核优化直接决定 MoE 的实际性价比，工业界与学术界的方案竞争尚未收敛；三是 MoE 与智能体、长上下文、多模态的结合正在加速。值得观察的是，这些论文声明的收益（如 10% 吞吐提升、超越 DeepSeek 的均衡方案）能否在独立基准中得到验证，以及小参数量 MoE 能否在端侧跑通。