№mixture·general
Mixture
别名
- 首次出现
- 2026-05-22
- 最近出现
- 2026-07-22
- 累计提及
- 48
§ 01综述
Mixture（混合专家模型）是一种通过组合多个专业化子模型（专家）来提升性能和效率的神经网络架构，在大型语言模型和多模态AI领域已成为主流技术。近期，Mixture of Experts（MoE）模型在规模、效率和可控性方面取得显著进展。
Mixture近期进展
Thinking Machines Lab 发布 Inkling：2026年7月15日，Thinking Machines Lab 推出 Inkling，一个拥有975B参数的开放权重多模态MoE模型，激活参数仅41B，并支持可控思考努力（controllable thinking effort）。该模型旨在平衡性能与计算成本。原文标题
NVIDIA Cosmos框架教程：2026年7月8日，NVIDIA发布Cosmos框架教程，设计了基于Omnimodal Mixture of Transformers的Colab友好型迷你世界模型，展示了MoE在多模态世界建模中的应用。原文标题
Agents-A1：35B MoE智能体模型：来自DeepSeek的arXiv论文（2026年6月）提出Agents-A1，一个35B参数的MoE模型，在长视野任务上达到与万亿参数模型相当的性能，凸显MoE在智能体领域的潜力。原文标题
Prime Intellect 发布 prime-rl 0.6.0：2026年6月23日，Prime Intellect 发布用于训练万亿参数MoE模型的强化学习框架，支持智能体RL工作负载，推动MoE规模向万亿参数迈进。原文标题
当前焦点与观察点
当前Mixture技术的焦点集中在以下几个方向：一是路由机制的优化，如SARA（语义锚定路由对齐）旨在提升MoE在多语言场景下的知识路由效率；二是成本控制，CAEE框架通过成本感知的专家执行来改善多设备MoE推理；三是模型规模与稀疏性的平衡，如Inkling通过可控思考努力在推理时调节计算量。此外，MoE模型在智能体领域的应用逐渐增多，Agents-A1表明小参数MoE可通过稀疏激活达到大规模密集模型的性能。企业级部署中，MoE的高效推理和路由策略仍是关键挑战。