MoE 混合专家 Mixture of Experts
AI 术语表 · 又称:混合专家模型
MoE(混合专家)是把前馈层拆成多个「专家」子网络、每个 token 只激活其中少数专家的架构,用总参数大、激活参数小的方式同时获得容量与速度。
如某模型「总参数 671B、激活 37B」即典型 MoE。DeepSeek、Mixtral、Qwen-MoE 等把这一路线推向主流,大幅拉低了旗舰级能力的推理成本;代价是训练更难稳定、显存占用仍按总参数计。
相关词条
MoE(混合专家)是把前馈层拆成多个「专家」子网络、每个 token 只激活其中少数专家的架构,用总参数大、激活参数小的方式同时获得容量与速度。
如某模型「总参数 671B、激活 37B」即典型 MoE。DeepSeek、Mixtral、Qwen-MoE 等把这一路线推向主流,大幅拉低了旗舰级能力的推理成本;代价是训练更难稳定、显存占用仍按总参数计。