KV-Cache 淘汰策略可按风险目标认证：Llama 上 SnapKV 认证通过 75% 保留率

一篇 arXiv 论文将 KV-cache 淘汰从平均质量-内存权衡重构为部署级风险控制问题：当淘汰导致单个请求任务效用下降超过容忍阈值时记为一次风险事件，部署风险即这类事件的频率。论文提出与压缩器无关的事后认证程序，根据校准数据在有限样本保证下选择保留策略，无法认证时回退到完整 KV。在 Llama 和 Mistral 模型上测试，针对 LongBench 与 RULER-32K 两套基准，同一风险契约给出不同结论：Llama 上 SnapKV 在 LongBench 通过 75% 保留率的认证，但在 RULER-32K 上没有受测压缩策略通过认证，触发完整 KV 回退。实验还显示经验退化率低于 5% 目标的策略仍可能未通过有限样本认证，经验阈值法在 Llama LongBench 上选出的策略比固定预算方法少保留 5-10 个百分点的缓存。