AITOP

KV缓存压缩

共 9 条相关 AI 资讯
7月8日
12:19
12:19官方账号arXiv cs.AI@Anna Cordoba, Adam Puente Tercero, Nerea Angulo Hijo, Mar Linares Tercero, Julia Barrientos, Ainhoa Miranda, Jesus Olivera
DepthWeave-KV是一种跨层键值缓存压缩方法，通过共享低秩通道基分解相邻层状态，保留令牌特定残差。它使用令牌条件深度路由器为指令型和检索关键令牌分配更高重构秩，并通过注意力输出探头在线追踪误差自适应压缩。在LongBench等基准上，DepthWeave-KV实现近满缓存任务质量，压缩比达8.3倍，64K上下文速度72.8 tokens/s。
论文DepthWeave-KVKV缓存压缩长上下文推理加速论文
推荐理由：长上下文推理内存瓶颈有救了！DepthWeave-KV用跨层分解加自适应压缩，8.3倍KV缓存缩减，速度72.8 tokens/s，比其他方法效果更好。
原文
12:17
12:17官方账号arXiv cs.AI@Anna Córdoba, Adam Puente Tercero, Nerea Angulo Hijo, Mar Linares Tercero, Julia Barrientos, Ainhoa Miranda, Jesús Olivera
FreqDepthKV是一种推理时KV缓存压缩方法，通过将相邻层的KV状态分解为共享低频深度分量和稀疏高频残差，并利用轻量在线探测根据注意力头对重建的贡献分配缓存模式。在32k token预填窗口下，FreqDepthKV在长上下文问答、检索、摘要和代码生成任务上达到58.3 Exact Match、63.0 F1、32.5 ROUGE-L和48.1 pass@1，接近全KV缓存水平。它还将解码吞吐提升至70.4 tokens/s，首令牌延迟降至2.06秒，峰值KV内存降至6.2 GB，实现3.9倍有效压缩比。
AI模型FreqDepthKVKV缓存压缩长上下文LLM推理模型压缩
推荐理由：FreqDepthKV在长上下文推理中将KV缓存压缩3.9倍，同时保持任务精度，比此前压缩方法更稳定，适合内存受限场景。
原文
6月26日
10:17
6月17日
10:18
6月10日
12:12
12:12官方账号arXiv cs.LG@Albert Gong, Annabelle Michael Carrell, Raaz Dwivedi, Lester Mackey
精选
研究人员提出了一种名为 Express 的新工具，能将非因果注意力近似转换为因果注意力近似，并保持相同的近似保证。结合最先进的 Thinformer 近似，Express 在因果注意力上实现了已知最佳近似误差，仅需 O(s) 内存和 O(s² log²(n)) 压缩开销。该工具通过高效的 I/O 感知 Triton 实现，在长上下文预填充、KV 缓存压缩、长序列解码等场景中显著超越 FlashAttention 2。这解决了语言模型在长序列处理中的四个关键资源瓶颈。
论文注意力近似因果注意力长上下文KV缓存压缩Triton实现
推荐理由：做长上下文语言模型推理优化的团队，Express 能同时提升预填充和解码效率，值得直接集成到现有流水线中。
原文
10:10
10:10官方一手arXiv: DeepSeek@Wenhao Liu, Hao Shi, Yunhe Li, Weizhi Fei, Xiangyuan Wang, Mengzhe Ruan, Hanxu Hou, Peisong Wang, Linqi Song, Shuang Qiu
精选
ReasonAlloc 是一种无需训练的框架，针对大语言模型推理中长思维链（CoT）导致的KV缓存快速增长问题，提出分层预算分配方案。它通过离线层间预分配捕捉架构驱动的“推理波”模式，并结合在线头间实时重分配，将资源导向信息丰富的注意力头。在数学推理基准（MATH-500、AIME 2024）上，使用DeepSeek-R1-Distill-Llama-8B等模型测试，ReasonAlloc在低预算（128-512 tokens）下显著优于均匀预算方法（如R-KV、SnapKV）。该框架可即插即用于现有token驱逐策略，且推理开销极小。
论文KV缓存压缩推理模型预算分配解码优化DeepSeek-R1
推荐理由：推理模型的长CoT导致KV缓存爆炸，做推理优化的开发者可以直接用ReasonAlloc替代均匀预算方案，在低预算下获得显著性能提升。
原文
6月9日
10:32
10:32官方一手arXiv: DeepSeek@Yan Wang, Qifan Zhang, Jiachen Yu, Tian Liang, Dongyang Ma, Xiang Hu, Zibo Lin, Chunyang Li, Zhichao Wang, Jia Li, Yujiu Yang, Haitao Mi, Dong Yu
精选72°
FlashMemory-DeepSeek-V4 提出了一种名为 Lookahead Sparse Attention (LSA) 的新型推理范式，通过神经记忆索引器预测未来上下文需求，仅保留关键 KV 块在 GPU 内存中。该架构采用解耦训练策略，将索引器作为独立双编码器训练，无需加载主模型。在 LongBench-v2、LongMemEval 等长上下文评测中，LSA 将物理 KV 缓存压缩至全上下文基线的 13.5%，同时下游准确率平均提升 0.6%。在 50 万 token 极端长度下，物理 KV 缓存开销降低超过 90%，且不损害模型核心推理能力。
论文稀疏注意力长上下文KV缓存压缩DeepSeek-V4推理效率
推荐理由：LSA 解决了超长上下文推理的 GPU 内存瓶颈，做长文档分析或大规模序列建模的团队可以直接参考其稀疏注意力方案，显著降低部署成本。
原文
5月15日
10:10
10:10官方一手arXiv: DeepSeek@Libo Sun, Po-wei Harn, Peixiong He, Xiao Qin
精选
该研究系统评估了七种KV缓存压缩机制在数学推理任务上的表现，发现所有现有方法在小预算下均被拒绝。作者提出一种名为α的简单修改，通过引入多样性惩罚项替代传统argmax-top-k选择，在Qwen-7B和Llama-8B模型上，在64和128预算下，α在两项测试中显著优于基线。该发现表明，最小化的评分修改比复杂的结构重设计更有效，且严格的实验协议使这一不对称性得以显现。
论文KV缓存压缩推理模型数学推理QwenLlama
推荐理由：KV缓存压缩是长上下文推理的关键瓶颈，做LLM推理优化的开发者可以直接参考α方法——它用一行修改就打败了七种复杂方案，值得在自家模型上试试。
原文
5月14日
13:27
13:27官方账号arXiv cs.AI@Zedong Liu, Xinyang Ma, Dejun Luo, Hairui Zhao, Bing Lu, Wenjing Huang, Yida Gu, Xingchen Liu, Zheng Wei, Jinyang Liu, Dingwen Tao, Guangming Tan
精选
KVServe 是首个服务感知的自适应 KV 通信压缩框架，专为分离式 LLM 服务设计。它通过模块化策略空间、贝叶斯分析引擎和服务感知在线控制器，动态选择最优压缩方案。相比固定压缩策略，KVServe 在 PD 分离场景下实现高达 9.13 倍的 JCT 加速，在 KV 分离场景下将 TTFT 降低 32.8 倍。该框架已集成到 vLLM 中，适用于不同模型、GPU 和网络环境。
论文KV缓存压缩分离式LLM服务vLLM自适应优化通信效率
推荐理由：KV 通信已成为分离式 LLM 服务的瓶颈，KVServe 用自适应压缩解决了静态策略的次优问题。做 LLM 推理系统优化或部署大规模服务的团队，这个框架值得关注，可以直接集成到 vLLM 中试用。
原文