Event ·Single source

vLLM 推出弹性专家并行，可在运行中增减 GPU

vLLM 新增 Elastic Expert Parallelism（弹性专家并行）功能，允许在 MoE 部署运行期间增减 GPU，且对服务中断和停机影响极小。NVIDIA 的 Itay Alroy 将在 PyTorch Conference North America 2026 上介绍 Elastic EP 的架构、关键实现细节和路线图。演讲还将讨论 EP 规模变化时的行为，以及 NIXL EP 如何在实时流量下实现扩缩容。

Current read

vLLM 的 MoE 服务现在能在线加减 GPU 不停机，NVIDIA 的人在 PyTorch 大会上讲实现细节，做推理部署的别错过。

2 sources76° AI heatLast updated 2026/9/26 07:00:00

Evidence

2 sources

Primary sourcePyTorch

2026/9/26 07:00:00View source

Related source 1arXiv cs.LG

2026/9/25 17:20:22View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.

Open the story