Primary sourcearXiv: DeepSeek
View sourceEvent ·Official first-hand
VelServe 用尾延迟校准调度解决 LLM 解码抖动问题
arXiv 论文提出 VelServe,一个针对交互式 LLM 服务 SLO(TTFT 和 TBT)的调度器,解决解码阶段的抖动问题。核心机制是根据每次迭代延迟的实测尾部分布,校准每个解码步可承载的 prefill 工作量,按 SLO 要求的迟到概率预留余量,防止一步超时拖累整个 batch。由于预留余量会拖慢 prefill,VelServe 优先服务等待时间最短的 prompt;在 prefill 与解码分离部署下,它通过控制请求准入间隔,保证没有请求等待超过其 P99 目标允许的慢准入步数。实验覆盖三种注意力架构和多种负载:在 Qwen3-8B 和 DeepSeek-V4-Flash 上,VelServe 达到最强基线 2.4–2.9 倍的 SLO goodput;在 DeepSeek-V2-Lite 上至少 4.4 倍。在 8 张 GPU 上做 prefill/decode 分离时,其满足 SLO 的请求数超过现有最先进基线的 2 倍。
Current read
做推理服务部署的工程师应该看看这篇。它不换模型,只改调度:按实测尾延迟给每个解码步留余量,Qwen3-8B 上 SLO goodput 直接翻到基线的 2.4–2.9 倍,8 卡分离部署下达标请求数翻倍。比 vLLM 这类常规 SLO 调度器稳,适合流式和实时场景。
2 sources39° AI heatLast updated 2026/11/13 16:34:37
Evidence
2 sourcesRelated source 1DAIR.AI
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.