#Stint

1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "Stint", newest first.
Nov 17
Chinese contentStint:让长输出 LLM 服务中的 KV 缓存抢占不再浪费算力

跑推理服务的人都知道内存被打满后请求互相挤兑有多难受。Stint 把被抢占请求的 KV 快照挪到 CPU 再搬回来,卡一分钟以上的请求直接消失,p99 延迟砍半。自己搭 vLLM/SGLang 之类服务的人值得看看思路。

Event
arXiv cs.AI@Ziji Shi et al. (6)Source