精选理由
不用跑一堆配置，用公式就能算清LLM服务的瓶颈在哪，还拿DeepSeek-V3.2在H20上做了实测，对推理优化的人很有参考价值。
该论文提出Floor-First残差驱动分流工作流，将解码步骤建模为HBM字节、FLOPs、网络字节、网络消息、KV容量五维资源向量，通过求和与最大值计算乐观下界和悲观上界，无需profiler即可判断重叠质量。基于DeepSeek-V3.2 671B MoE/MLA模型在16块NVIDIA H20 GPU上的案例显示，TP16解码受KV容量限制约70个并发8K请求；稀疏注意力可移除KV带宽项但容量墙不变；EP16+DP-attention布局将容量墙提升至约644，但单流延迟比TP布局慢2.4倍。该方法通过壁排序比较部署方案，替代点基准，并支持新注意力或状态空间模块的扩展。
AI 翻译 · 中文
该论文提出Floor-First残差驱动分流工作流，将解码步骤建模为HBM字节、FLOPs、网络字节、网络消息、KV容量五维资源向量，通过求和与最大值计算乐观下界和悲观上界，无需profiler即可判断重叠质量。基于DeepSeek-V3.2 671B MoE/MLA模型在16块NVIDIA H20 GPU上的案例显示，TP16解码受KV容量限制约70个并发8K请求；稀疏注意力可移除KV带宽项但容量墙不变；EP16+DP-attention布局将容量墙提升至约644，但单流延迟比TP布局慢2.4倍。该方法通过壁排序比较部署方案，替代点基准，并支持新注意力或状态空间模块的扩展。
LLM serving optimization typically benchmarks many configurations and reaches for heavy profilers when latency targets are missed. We argue for the reverse discipline: estimation is the analytical layer of profiling -- w…