DeepEP 是 DeepSeek 开源的一款面向混合专家(MoE)模型的高性能通信库,专注于专家并行场景下的 All-to-All 数据分发与聚合,是当前大规模 MoE 训练与推理基础设施中的关键底层组件之一。它通过低延迟内核与计算-通信重叠等设计,降低专家并行带来的通信开销,因而被 vLLM、SGLang 等主流推理框架以及云厂商的大规模训练方案广泛采用。
DeepEP 近期进展
当前焦点与观察点
围绕 DeepEP 的讨论主要集中在三个方面。其一是跨硬件生态:随着 DeepSeek 开源昇腾版本,社区开始关注它在非 NVIDIA 平台上的性能表现与维护节奏,例如 DeepSeek V4.1F 在 Ascend 950DT 与 GB200 上的推理吞吐对比就受到不少关注。其二是与上层框架的协同:SGLang 的负载均衡改进、vLLM 的版本迭代都说明 DeepEP 已从独立项目演变为 MoE 推理栈中被依赖的基础层,其接口稳定性变得越来越重要。其三是替代与竞争方案的出现,例如 Cursor 透露的 MoK 方案在数万 GPU 规模下实现了 1.41 倍吞吐提升,Together AI 也指出多 GPU 通信仍是 LLM 基础设施的薄弱环节。
总体来看,DeepEP 所处的专家并行通信赛道正在快速演化:一边是官方持续扩展硬件适配,另一边是社区围绕负载均衡和多 GPU 内核优化提出新思路。对使用者而言,值得观察的信号包括昇腾版本的成熟度、主流推理框架对其默认集成程度,以及是否出现性能或生态上足以分流用户的新方案。