CompKV：补偿感知的稀疏注意力框架，长上下文推理最高提速 6.85 倍

CompKV 是首个补偿感知的稀疏注意力框架，针对 KV cache 在长上下文推理中的内存瓶颈而设计。与先按注意力质量选 token 再做补偿的现有方法不同，CompKV 把 token 分块，优先选择若省略会带来最大补偿误差的部分。论文的理论分析指出块级均值补偿的残差由块注意力质量和块内 logit 方差共同决定，并给出了可部署的选择准则。在 RULER 和 LongBench-Pro 基准上，CompKV 优于所评估的稀疏基线，自注意力最高加速 6.85 倍。