H20 相关 AI 资讯 · AI 热点

7月9日

09:35

09:35

官方一手arXiv: DeepSeek@Yihua Liu

精选

Floor-First提出一种基于残差驱动的LLM服务优化工作流，将每个解码步骤建模为五维资源向量（HBM字节、FLOPs、网络字节、网络消息、KV容量），通过求和与取最大值得到乐观下限与悲观下限区间，无需剖析器即可评估重叠质量。以DeepSeek-V3.2风格671B MoE/MLA模型在16块NVIDIA H20 GPU上验证：TP16解码在~74 FLOP/byte下受KV容量限制，仅支持约70并发8K请求；EP16+DP-attention布局将容量墙提升至~644，但单流延迟比TP慢2.4倍。该方法通过资源墙排序而非点基准比较部署方案，且支持新注意力模块的组合式接入。

论文 DeepSeek-V3.2 H20 LLM Serving Floor-First 推理优化

推荐理由：别盲目跑网格搜索了。这篇论文提出Floor-First方法，用资源向量估算性能下限，在DeepSeek-V3.2上验证了不同注意力布局的容量墙差异，帮你理性选部署方案。

7月8日

09:05

09:05

官方一手arXiv: DeepSeek@Yihua Liu

精选

该论文提出Floor-First残差驱动分流工作流，将解码步骤建模为HBM字节、FLOPs、网络字节、网络消息、KV容量五维资源向量，通过求和与最大值计算乐观下界和悲观上界，无需profiler即可判断重叠质量。基于DeepSeek-V3.2 671B MoE/MLA模型在16块NVIDIA H20 GPU上的案例显示，TP16解码受KV容量限制约70个并发8K请求；稀疏注意力可移除KV带宽项但容量墙不变；EP16+DP-attention布局将容量墙提升至约644，但单流延迟比TP布局慢2.4倍。该方法通过壁排序比较部署方案，替代点基准，并支持新注意力或状态空间模块的扩展。

论文 DeepSeek-V3.2 H20 LLM推理优化 MoE 算法效率

推荐理由：不用跑一堆配置，用公式就能算清LLM服务的瓶颈在哪，还拿DeepSeek-V3.2在H20上做了实测，对推理优化的人很有参考价值。