Ant International 在 8×H20-3e 上优化 DeepSeek-V4.1-Flash 推理服务
蚂蚁国际基础设施团队把 DeepSeek-V4.1-Flash 在 8 张 H20-3e 上的优化拆成七步,每步都有实测数据,端到端延迟降了近三倍。做长上下文推理部署的工程师可以直接照着复现,比泛泛而谈的调优文章实用。
Ant International 的 AI Infra 团队发布了 DeepSeek-V4.1-Flash 在 8×H20-3e GPU 上的推理服务优化博客,采用 PD 分离(prefill-decode disaggregation)架构。基线对比 TP4 配置下,64K token 长提示的平均端到端时延从 13.63 秒降到 4.70 秒,输出吞吐提升 2.91 倍。
博客把优化拆成七项改动逐一叠加并单独测量,可复现性强。首 token 时间(TTFT)从 12.04 秒压到 1.89 秒,代价是单 token 解码时间从 3.20ms 升到 5.62ms,说明用解码延迟换取长上下文场景的整体响应速度。在单机 4 GPU colocated 部署模式下,端到端时延也从 18.62 秒降到 7.96 秒。
对做长文本推理部署的团队,这篇博客的价值在于 H20 这类受限算力卡上的实测数据和逐项归因方法,而不是单一结论。
Optimizing DeepSeek-V4.1-Flash PD & Colocate Serving on H20-3e
The AI Infra team at @Ant_Intl optimized DeepSeek-V4.1-Flash on 8×H20-3e with PD disaggregation. The blog stacks seven changes one at a time and measures each.
Highlights:
• Mean E2E 13.63 s → 4.70 s, 2.91× output throughput vs TP4 (64K-token prompts) • TTFT 12.04 s → 1.89 s, at the cost of TPOT 3.20 → 5.62 ms • One 4-GPU colocated worker: E2E 18.62 s → 7.96 s
Read the full blog below ⬇️
This report is categorized under AITOP's "How-to" desk, focusing on China's AI industry and domestic foundation model ecosystem. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include DeepSeek, H20, inference optimization.
Source attribution: curated from LMSYS Org (SGLang) (@lmsysorg).