№混合专家·general
混合专家
别名
- 首次出现
- 2026-05-28
- 最近出现
- 2026-07-24
- 累计提及
- 71
§ 01综述
混合专家（Mixture of Experts, MoE）是一种神经网络架构，通过将模型拆分为多个专家子网络并仅激活其中一部分，在总参数规模激增的同时保持推理效率，已成为大型语言模型的主流设计。近期，MoE模型持续向更大参数量、更广模态和开源方向演进，多款重要模型相继发布。
混合专家近期进展
腾讯发布Hy3：295B总参数的MoE模型，仅激活21B参数，支持256K上下文，并开源。该模型在长文本任务和资源效率间取得平衡。腾讯发布Hy3：295B MoE开源模型，21B激活参数，256K上下文
NVIDIA推出Audex音频-文本模型：30B参数量MoE，激活仅3B参数，保留骨干文本智能，统一音频与文本处理。NVIDIA发布Audex：统一音频-文本LLM，保留骨干文本智能
xAI与Cursor合作发布Grok 4.5：采用混合专家架构，面向通用对话与推理，具体参数未公开，但强调效率提升。Cursor联合SpaceXAI发布Grok 4.5混合专家模型
LingBot-Video登陆Hugging Face：30B参数MoE视频基础模型，专为具身智能设计，支持视频理解与生成。LingBot-Video 登陆 Hugging Face，30B 参数 MoE 视频基础模型支持具身智能
此外，英伟达发布量化版GLM-5.2（744B MoE）、Mistral推出Leanstral 1.5（专注Lean 4代码）、多任务MoE框架用于恶意软件分析等也体现了该架构的广泛应用。
当前焦点与观察点
混合专家架构正从单一语言向多模态（视频、音频）和垂直方向（代码、数学、安全）快速拓展，开源大模型竞争加剧。核心趋势是“总参数膨胀、激活参数紧缩”：如Hy3的295B仅21B激活，Audex的30B仅3B激活，这使超大模型部署成为可能。同时，训练工具如NVIDIA NeMo已将MoE训练加速3.4-3.7倍。此外，差异化路由、持续学习等研究正在为混合专家的动态性和专业化开辟新路径。未来，如何平衡专家分工的精度与泛化能力，仍是关键挑战。