KV缓存压缩相关 AI 资讯

7月8日

12:19

官方账号arXiv cs.AI@Anna Cordoba, Adam Puente Tercero, Nerea Angulo Hijo, Mar Linares Tercero, Julia Barrientos, Ainhoa Miranda, Jesus Olivera

DepthWeave-KV是一种跨层键值缓存压缩方法，通过共享低秩通道基分解相邻层状态，保留令牌特定残差。它使用令牌条件深度路由器为指令型和检索关键令牌分配更高重构秩，并通过注意力输出探头在线追踪误差自适应压缩。在LongBench等基准上，DepthWeave-KV实现近满缓存任务质量，压缩比达8.3倍，64K上下文速度72.8 tokens/s。

论文 DepthWeave-KV KV缓存压缩长上下文

推荐理由：长上下文推理内存瓶颈有救了！DepthWeave-KV用跨层分解加自适应压缩，8.3倍KV缓存缩减，速度72.8 tokens/s，比其他方法效果更好。

原文

12:17

官方账号arXiv cs.AI@Anna Córdoba, Adam Puente Tercero, Nerea Angulo Hijo, Mar Linares Tercero, Julia Barrientos, Ainhoa Miranda, Jesús Olivera

FreqDepthKV是一种推理时KV缓存压缩方法，通过将相邻层的KV状态分解为共享低频深度分量和稀疏高频残差，并利用轻量在线探测根据注意力头对重建的贡献分配缓存模式。在32k token预填窗口下，FreqDepthKV在长上下文问答、检索、摘要和代码生成任务上达到58.3 Exact Match、63.0 F1、32.5 ROUGE-L和48.1 pass@1，接近全KV缓存水平。它还将解码吞吐提升至70.4 tokens/s，首令牌延迟降至2.06秒，峰值KV内存降至6.2 GB，实现3.9倍有效压缩比。

AI模型 FreqDepthKV KV缓存压缩长上下文

推荐理由：FreqDepthKV在长上下文推理中将KV缓存压缩3.9倍，同时保持任务精度，比此前压缩方法更稳定，适合内存受限场景。

原文

6月26日

10:17

官方一手arXiv: DeepSeek@Jushi Kai, Zhuiri Xiao, Alexandra Birch, Zhouhan Lin

论文提出InfoKV，一种熵感知的KV缓存压缩框架，通过结合token级预测不确定性与层表示演化来估计重要性。在Llama-3.1、Llama-3.2和DeepSeek-R1上的长上下文推理基准实验中，InfoKV在预填充和解码阶段持续优于现有基于注意力的压缩方法。该方法引入Forward Influence度量，发现高不确定性token对远距离上下文影响更大。

论文 InfoKV KV缓存压缩长推理

推荐理由：这篇论文提出了InfoKV，用信息熵改进KV缓存压缩，在Llama-3.1和DeepSeek-R1上比传统注意力方法效果更好，适合关注长推理效率的人。

原文

6月17日

10:18

官方账号arXiv cs.LG@Ning Ni, Yingjie Lao

AnchorKV是一种即插即用的KV缓存压缩方法，通过构建离线安全锚点来偏置token保留分数，使其远离有害提示对应的键空间方向。该方法采用差异均值表征工程技术，在逐层键投影空间中提取拒绝方向，并引入软惩罚token选择规则。在保持压缩效率的同时，AnchorKV能显著提升LLM的安全对齐能力，抵御越狱攻击。实验表明，在适度牺牲少量性能的情况下，该方法可有效降低有害输出率。

AI模型 AnchorKV KV缓存压缩越狱攻击

推荐理由：想压缩KV缓存又怕模型不安全？AnchorKV用软惩罚巧妙拒绝有害token，既省内存又防越狱，适合部署场景。

原文

6月10日

12:12

官方账号arXiv cs.LG@Albert Gong, Annabelle Michael Carrell, Raaz Dwivedi, Lester Mackey

精选

研究人员提出了一种名为 Express 的新工具，能将非因果注意力近似转换为因果注意力近似，并保持相同的近似保证。结合最先进的 Thinformer 近似，Express 在因果注意力上实现了已知最佳近似误差，仅需 O(s) 内存和 O(s² log²(n)) 压缩开销。该工具通过高效的 I/O 感知 Triton 实现，在长上下文预填充、KV 缓存压缩、长序列解码等场景中显著超越 FlashAttention 2。这解决了语言模型在长序列处理中的四个关键资源瓶颈。

论文注意力近似因果注意力长上下文

推荐理由：做长上下文语言模型推理优化的团队，Express 能同时提升预填充和解码效率，值得直接集成到现有流水线中。

原文

10:10

官方一手arXiv: DeepSeek@Wenhao Liu, Hao Shi, Yunhe Li, Weizhi Fei, Xiangyuan Wang, Mengzhe Ruan, Hanxu Hou, Peisong Wang, Linqi Song, Shuang Qiu

精选

ReasonAlloc 是一种无需训练的框架，针对大语言模型推理中长思维链（CoT）导致的KV缓存快速增长问题，提出分层预算分配方案。它通过离线层间预分配捕捉架构驱动的“推理波”模式，并结合在线头间实时重分配，将资源导向信息丰富的注意力头。在数学推理基准（MATH-500、AIME 2024）上，使用DeepSeek-R1-Distill-Llama-8B等模型测试，ReasonAlloc在低预算（128-512 tokens）下显著优于均匀预算方法（如R-KV、SnapKV）。该框架可即插即用于现有token驱逐策略，且推理开销极小。

论文 KV缓存压缩推理模型预算分配

推荐理由：推理模型的长CoT导致KV缓存爆炸，做推理优化的开发者可以直接用ReasonAlloc替代均匀预算方案，在低预算下获得显著性能提升。

原文

6月9日

10:32

官方一手arXiv: DeepSeek@Yan Wang, Qifan Zhang, Jiachen Yu, Tian Liang, Dongyang Ma, Xiang Hu, Zibo Lin, Chunyang Li, Zhichao Wang, Jia Li, Yujiu Yang, Haitao Mi, Dong Yu

精选72°

FlashMemory-DeepSeek-V4 提出了一种名为 Lookahead Sparse Attention (LSA) 的新型推理范式，通过神经记忆索引器预测未来上下文需求，仅保留关键 KV 块在 GPU 内存中。该架构采用解耦训练策略，将索引器作为独立双编码器训练，无需加载主模型。在 LongBench-v2、LongMemEval 等长上下文评测中，LSA 将物理 KV 缓存压缩至全上下文基线的 13.5%，同时下游准确率平均提升 0.6%。在 50 万 token 极端长度下，物理 KV 缓存开销降低超过 90%，且不损害模型核心推理能力。

论文稀疏注意力长上下文 KV缓存压缩

推荐理由：LSA 解决了超长上下文推理的 GPU 内存瓶颈，做长文档分析或大规模序列建模的团队可以直接参考其稀疏注意力方案，显著降低部署成本。

原文

5月15日

10:10

官方一手arXiv: DeepSeek@Libo Sun, Po-wei Harn, Peixiong He, Xiao Qin

精选

该研究系统评估了七种KV缓存压缩机制在数学推理任务上的表现，发现所有现有方法在小预算下均被拒绝。作者提出一种名为α的简单修改，通过引入多样性惩罚项替代传统argmax-top-k选择，在Qwen-7B和Llama-8B模型上，在64和128预算下，α在两项测试中显著优于基线。该发现表明，最小化的评分修改比复杂的结构重设计更有效，且严格的实验协议使这一不对称性得以显现。

论文 KV缓存压缩推理模型数学推理

推荐理由：KV缓存压缩是长上下文推理的关键瓶颈，做LLM推理优化的开发者可以直接参考α方法——它用一行修改就打败了七种复杂方案，值得在自家模型上试试。

原文

5月14日

13:27

官方账号arXiv cs.AI@Zedong Liu, Xinyang Ma, Dejun Luo, Hairui Zhao, Bing Lu, Wenjing Huang, Yida Gu, Xingchen Liu, Zheng Wei, Jinyang Liu, Dingwen Tao, Guangming Tan

精选

KVServe 是首个服务感知的自适应 KV 通信压缩框架，专为分离式 LLM 服务设计。它通过模块化策略空间、贝叶斯分析引擎和服务感知在线控制器，动态选择最优压缩方案。相比固定压缩策略，KVServe 在 PD 分离场景下实现高达 9.13 倍的 JCT 加速，在 KV 分离场景下将 TTFT 降低 32.8 倍。该框架已集成到 vLLM 中，适用于不同模型、GPU 和网络环境。

论文 KV缓存压缩分离式LLM服务 vLLM

推荐理由：KV 通信已成为分离式 LLM 服务的瓶颈，KVServe 用自适应压缩解决了静态策略的次优问题。做 LLM 推理系统优化或部署大规模服务的团队，这个框架值得关注，可以直接集成到 vLLM 中试用。

原文