Chinese contentEchoKV:用迭代查询反馈自我修正 KV 缓存淘汰
arXiv 上一篇论文,讲 KV 缓存淘汰怎么用迭代反馈自我纠错,在 LongBench 上比 LAQ 强,做长上下文推理优化可以看看。
arXiv 上一篇论文,讲 KV 缓存淘汰怎么用迭代反馈自我纠错,在 LongBench 上比 LAQ 强,做长上下文推理优化可以看看。
这论文把 KV-cache 压缩变成了能签合同的事:给定风险目标,自动算出能砍多少缓存,砍不了就回退全 KV。做长文本推理部署的可以看看。
一篇很实在的论文:作者发现长文档检索差的真正元凶是近处无关文字抢注意力,给出 LYRA 方法外加 ProxBench 基准,做了 RAG 的话值得看他们的实验数据。
想给RAG省算力又不想掉精度?CoinRAG把检索结果拆成小碎块做缓存复用,LongBench上F1平均提了5.3%,值得一看。