PapersBuilders13:49Chinese contentTempoKV:让 LLM KV 缓存调度更省内存的分层方案vLLM 和 LMCache 里能直接用的 KV 缓存调度优化,快速层容量从 100 GiB 砍到 25 GiB 吞吐基本不掉,还把 p95 首 token 时间降了 48%。#TempoKV#vLLM#LMCache#KV cacheaarXiv cs.AI@Jay H. Park et al. (3)SourceRead laterReadWorth followingUsefulFollow TempoKV