Event ·Single source

Stint:让长输出 LLM 服务中的 KV 缓存抢占不再浪费算力

Stint 是一个针对推理型 LLM 长输出场景的服务系统,解决 KV 缓存占满 GPU 内存后请求被反复抢占、状态丢失又恢复的 KV thrashing 问题。论文指出,现有系统在某些情况下会让超过五分之一的请求卡住超过一分钟。 技术机制上,Stint 将被抢占请求的 KV 缓存以定长快照形式存入 contiguous-first 的 CPU 内存池,通过 exact-extent 分配器管理,配合融合的 K/V gather/scatter 内核与双缓冲搬运数据;读回时按年龄排序,并给恢复的请求一轮保护性解码,避免立刻再次被抢占,同时用解码隐藏状态估计剩余长度来选择牺牲请求。 实测中,在 H200 GPU 上用 Qwen3-32B 回放奥数数学题场景,Stint 下没有请求停顿超过 50 秒,p99 每输出 token 延迟相对同引擎的重计算方案下降 50.7%,整体回放提前 10.7% 完成,吞吐提升 12.0%。

Current read

跑推理服务的人都知道内存被打满后请求互相挤兑有多难受。Stint 把被抢占请求的 KV 快照挪到 CPU 再搬回来,卡一分钟以上的请求直接消失,p99 延迟砍半。自己搭 vLLM/SGLang 之类服务的人值得看看思路。

2 sources39° AI heatLast updated 2026/11/15 16:32:44

Evidence

2 sources
Primary sourcearXiv cs.AI
View source
Related source 1Gorden Sun
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.

Stint:让长输出 LLM 服务中的 KV 缓存抢占不再浪费算力 · 事件专题 | AITOP