09:48
官方一手arXiv: DeepSeek@Shrikara Arun, Anjaly Parayil, Srikant Bharadwaj, Renee St. Amant, Victor Rühle
精选
推荐理由：这篇论文讲了个很实在的优化：让空闲的解码节点分担预填充活儿，不用等KV传输，TTFT降了81%
prefill deflection
共 1 条相关 AI 资讯
7月3日
09:48
该论文针对分离式LLM服务中预填充节点过载而解码节点空闲的问题，提出了一种主动预填充偏转调度器。在2个预填充节点和2个解码节点的A100集群上，预填充执行仅占P95首次令牌延迟的2-23%，其余为排队和KV-cache传输。该调度器让解码节点以分块预填充步骤穿插解码批次的方式处理请求，消除节点间KV传输。基于vLLM和DeepSeek-V2-Lite的实验显示，相比最优分离式调度器，P95 TTFT降低81%，SLO达成率提升79%。