#RoCoKV

1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "RoCoKV", newest first.
Nov 20
Chinese contentRoCoKV:面向推理模型的 KV Cache 压缩方法,vLLM 中实现 1.27X 加速

推理模型的账单大头其实是长链条推理吃掉的显存和算力。这篇把压缩算法和 vLLM 内核一起改了,DeepSeek-R1-Distill-Llama-8B 上吞吐提升 38%,不牺牲准确率。自建推理服务、调过 KV Cache 的人应该看看。

arXiv: DeepSeek@Payman Behnam et al. (9)Source