DeepEP

general · First seen 2026-05-22 · Last seen 2026-10-28 · 35 mentions

Overview

DeepEP 是 DeepSeek 开源的一款面向混合专家(MoE)模型的高性能通信库,专注于专家并行场景下的 All-to-All 数据分发与聚合,是当前大规模 MoE 训练与推理基础设施中的关键底层组件之一。它通过低延迟内核与计算-通信重叠等设计,降低专家并行带来的通信开销,因而被 vLLM、SGLang 等主流推理框架以及云厂商的大规模训练方案广泛采用。

DeepEP 近期进展

  • 在 Amazon EKS 上用 EFA 与 DeepEP 扩展 MoE 强化学习,吞吐量提升 40%:AWS 工程团队将 DeepEP 与 EFA 网络结合用于 Amazon EKS 上的 MoE 强化学习,实现了 40% 的吞吐量提升,说明该库在云上多节点 RL 场景中已具备可落地的工程价值。
  • DeepSeek开源TileLang等华为昇腾版本:DeepSeek 开源了包括 DeepEP 在内的多个基础组件的华为昇腾适配版本,配合 SuperPod 相关工作,使其生态从 NVIDIA GPU 扩展到国产算力平台。
  • 改进DeepEP MoE负载均衡:SGLang引入Waterfill和LPLB:SGLang 团队围绕 DeepEP 的 MoE 通信路径引入 Waterfill 与 LPLB 两种负载均衡策略,针对专家负载不均导致的通信长尾问题做了补充优化。
  • vLLM v0.24.0 发布:支持 MiniMax-M3 和 DeepSeek-V4:vLLM 新版本对 DeepSeek-V4 等模型的支持,也间接带动了 DeepEP 相关通信路径在新一代 MoE 模型上的适配与验证。
  • 当前焦点与观察点

    围绕 DeepEP 的讨论主要集中在三个方面。其一是跨硬件生态:随着 DeepSeek 开源昇腾版本,社区开始关注它在非 NVIDIA 平台上的性能表现与维护节奏,例如 DeepSeek V4.1F 在 Ascend 950DT 与 GB200 上的推理吞吐对比就受到不少关注。其二是与上层框架的协同:SGLang 的负载均衡改进、vLLM 的版本迭代都说明 DeepEP 已从独立项目演变为 MoE 推理栈中被依赖的基础层,其接口稳定性变得越来越重要。其三是替代与竞争方案的出现,例如 Cursor 透露的 MoK 方案在数万 GPU 规模下实现了 1.41 倍吞吐提升,Together AI 也指出多 GPU 通信仍是 LLM 基础设施的薄弱环节。

    总体来看,DeepEP 所处的专家并行通信赛道正在快速演化:一边是官方持续扩展硬件适配,另一边是社区围绕负载均衡和多 GPU 内核优化提出新思路。对使用者而言,值得观察的信号包括昇腾版本的成熟度、主流推理框架对其默认集成程度,以及是否出现性能或生态上足以分流用户的新方案。

    Coverage

    10 on file
    DeepEP · AI 话题观测|AI热报