09:35
官方一手arXiv: DeepSeek@Yihua Liu
精选
推荐理由：别盲目跑网格搜索了。这篇论文提出Floor-First方法，用资源向量估算性能下限，在DeepSeek-V3.2上验证了不同注意力布局的容量墙差异，帮你理性选部署方案。
Floor-First
共 1 条相关 AI 资讯
7月9日
09:35
Floor-First提出一种基于残差驱动的LLM服务优化工作流，将每个解码步骤建模为五维资源向量（HBM字节、FLOPs、网络字节、网络消息、KV容量），通过求和与取最大值得到乐观下限与悲观下限区间，无需剖析器即可评估重叠质量。以DeepSeek-V3.2风格671B MoE/MLA模型在16块NVIDIA H20 GPU上验证：TP16解码在~74 FLOP/byte下受KV容量限制，仅支持约70并发8K请求；EP16+DP-attention布局将容量墙提升至~644，但单流延迟比TP慢2.4倍。该方法通过资源墙排序而非点基准比较部署方案，且支持新注意力模块的组合式接入。