Chinese content研究揭示 KV-Cache 选择性复用受请求顺序影响，文档对齐策略降低答案波动
跑长程智能体的开发者看看：KV-Cache 复用会导致同一提示词输出不同，论文给了文档对齐重算方案，波动从 69% 降到 26%，还保住 5.7 倍提速。
#KV-Cache
4 stories · 0 in 7 days · 1 in 30 days
Stories, products and papers tagged "KV-Cache", newest first.
Oct 6
Sep 24
Chinese contentKV-Cache 淘汰策略可按风险目标认证：Llama 上 SnapKV 认证通过 75% 保留率
这论文把 KV-cache 压缩变成了能签合同的事：给定风险目标，自动算出能砍多少缓存，砍不了就回退全 KV。做长文本推理部署的可以看看。
Aug 4
Jul 24
Papers09:38
Chinese content随机化设计为KV-Cache驱逐提供可证明误差证书一篇论文证明了随机化KV-Cache驱逐能提供误差证书，覆盖率达97%。如果你关心推理加速中的精度损失量化，这方法很实用。