KV-Cache 淘汰策略可按风险目标认证:Llama 上 SnapKV 认证通过 75% 保留率
这论文把 KV-cache 压缩变成了能签合同的事:给定风险目标,自动算出能砍多少缓存,砍不了就回退全 KV。做长文本推理部署的可以看看。
这论文把 KV-cache 压缩变成了能签合同的事:给定风险目标,自动算出能砍多少缓存,砍不了就回退全 KV。做长文本推理部署的可以看看。
一篇很实在的论文:作者发现长文档检索差的真正元凶是近处无关文字抢注意力,给出 LYRA 方法外加 ProxBench 基准,做了 RAG 的话值得看他们的实验数据。
想给RAG省算力又不想掉精度?CoinRAG把检索结果拆成小碎块做缓存复用,LongBench上F1平均提了5.3%,值得一看。