#KV cache compression

10 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "KV cache compression", newest first.
Nov 13
Jul 8
Jun 26
Jun 17
Jun 10
Jun 9
May 15
May 14
PapersSelected13:27
Chinese contentKVServe:服务感知的KV缓存压缩,提升分离式LLM服务通信效率

KV 通信已成为分离式 LLM 服务的瓶颈,KVServe 用自适应压缩解决了静态策略的次优问题。做 LLM 推理系统优化或部署大规模服务的团队,这个框架值得关注,可以直接集成到 vLLM 中试用。

arXiv cs.AI@Zedong Liu et al. (12)Source