精选理由
想了解超大规模GPU集群如何搞推理？xAI的SGLang负责人手把手教你拆分、分片和通信重叠，还比DeepSeek API更便宜。
xAI SGLang负责人在23分钟演讲中详解如何在10万张GPU上部署Grok模型。他们通过拆分Prefill与Decode阶段，将MoE专家分片到不同GPU。采用按专家路由Token的方式让通信与计算重叠执行。最终以低于DeepSeek API的定价对外提供服务。
AI 翻译 · 中文
xAI SGLang负责人在23分钟演讲中详解如何在10万张GPU上部署Grok模型。他们通过拆分Prefill与Decode阶段，将MoE专家分片到不同GPU。采用按专家路由Token的方式让通信与计算重叠执行。最终以低于DeepSeek API的定价对外提供服务。
前伯克利博士、现 xAI SGLang 负责人，用 23 分钟讲清楚他们如何在 10 万张 GPU 上部署 Grok 拆分 Prefill 和 Decode → 将 MoE 专家分片到不同 GPU → 按专家路由 Token → 让通信与计算重叠执行 → 以足以碾压 DeepSeek API 的价格对外提供服务。 Your browser does not support the video tag. 🔗 View on Twitte…