Event ·Single source

Ant Intl 在 8×H200 上用 SGLang 优化 DeepSeek-V4.1-Flash 推理

Ant International 的 AI Infra 团队发布博客,介绍如何在 8×H200 上以 SGLang PD 分离架构部署 DeepSeek-V4.1-Flash。在 8 组测试场景(64K 输入/512 输出、前缀命中率 50/70/90%、并发 4–32)下,端到端延迟较原基线降低 15%–64%,TTFT 降低 41%–79%。 技术手段包括:采用成本更低的稀疏注意力 Indexer、加大 Prefill 分块、精简 MoE 通信,以及让靠后的层只计算最后 128 个 token——该 128-token 模式可再压低 TTFT 最高 46.7%。 代价是 TPOT 升高 3%–52%,GSM8K 成绩从 96.74% 降至 95.38%。博客展示了在 H200(非 H20/国产卡)上跑满 DeepSeek 推理性能的具体路径,对自建推理服务的团队有直接参考价值。

Current read

蚂蚁国际把 DeepSeek-V4.1-Flash 在 8 张 H200 上的推理优化思路完整公开了:稀疏注意力、大 Prefill 分块、后层只算 128 个 token,TTFT 最高降 79%。代价也写清楚了——TPOT 变慢、GSM8K 掉约 1.4 个点。自己搭推理服务的人值得照着调一遍。

2 sources55° AI heatLast updated 2026/11/18 03:50:03

Evidence

2 sources
Primary sourceLMSYS Org (SGLang)
View source
Related source 1arXiv: DeepSeek
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.