KV缓存相关 AI 资讯

8月18日

15:36

官方账号arXiv cs.AI@Minsoo Cheong, Woosang Lim, Vincent-Daniel Yun, Sungjoo Yoo

KV-Rescue是一种无需训练的推理框架，通过轻量级全上下文助手桥接KV驱逐引入的信息缺口。在Qwen2.5-Math 7B和72B模型上，五个数学基准测试中，KV-Rescue在驱逐预算B=64时平均恢复了87%的精度损失。该框架使用在线检测器基于熵和可压缩性提前终止不连贯或重复的生成，将基础模型令牌生成量平均减少43%。

论文 KV-Rescue KV缓存推理模型

推荐理由：KV缓存驱逐会掉精度，KV-Rescue用个小模型当辅助，能救回87%的损失，还省43%的生成量，跑长推理的可以看看。

原文

8月12日

22:04

官方一手AWS Machine Learning Blog@Qingyuan Tang

精选

AWS博客介绍了一种在Amazon SageMaker HyperPod上使用Curvine构建分层KV缓存的方法。该方法将KV缓存扩展到共享分布式NVMe池中，使副本能以接近本地磁盘的速度复用缓存。这解决了大规模LLM推理中GPU实例过大或首token延迟高的问题。通过使用成本更高效的实例，该方法在保持性能的同时降低了推理成本。

技巧 SageMaker HyperPod Curvine KV缓存

推荐理由：AWS官方教你用Curvine在HyperPod上搞分层KV缓存，省GPU内存还能提速，跑大模型推理的可以看看。

原文

18:21

官方账号arXiv cs.LG@Zetao Hong, Song Yuan, Yuanhao Ding, Yibo Zhu, Daxin Jiang, Zhibin Wang, Chen Tian

MISA-T是一种针对混合强化学习rollout服务的路由层准入策略，解决RLVR、RLHF和智能体rollout共享推理服务时的KV缓存竞争问题。在Step3.7和Qwen3.6-35B-A3B上的消融实验中，MISA-T相比调优的vLLM Router将rollout吞吐分别提升53.3%和43.6%，同时保持高前缀缓存命中率。在50次迭代的Step3.7实验中，吞吐提升35.6%，平均迭代时间减少22.8%，且任务分数相当。

论文 MISA-T RLHF KV缓存

推荐理由：做LLM后训练的朋友可以看看，MISA-T把混合rollout调度做得更精细，吞吐提升明显，而且不牺牲任务效果。

原文

8月10日

11:03

官方账号arXiv cs.LG@Gyuwan Kim, Cheoneum Park, Tao Yang

CoinRAG是一种针对长上下文检索增强生成（RAG）的KV缓存复用优化方法，通过两阶段检索识别查询相关的语义单元，并组合复用其切片KV表示，避免处理冗长检索上下文。在LongBench多跳问答任务上，CoinRAG相比基线实现了新的帕累托前沿，在标准快速预填充延迟预算下平均F1相对提升5.3%，同时显著降低运营成本。该方法将粗粒度块级缓存细化为语义碎块级，减少了信息冗余与噪声。

论文 CoinRAG RAG KV缓存

推荐理由：想给RAG省算力又不想掉精度？CoinRAG把检索结果拆成小碎块做缓存复用，LongBench上F1平均提了5.3%，值得一看。

原文

10:49

官方账号arXiv cs.LG@Xindi Wu, Sven Elflein, James Lucas, Olga Russakovsky, Laura Leal-Taixé, Despoina Paschalidou, Jonathan Lorraine, Aljoša Ošep

交互式视频世界模型依赖键值缓存作为视觉记忆，但生成超过训练长度后，时间旋转位置编码偏移超出训练范围，模型无法通过注意力可靠寻址已存储内容。论文提出WorldTrace，一种无需训练的长期视觉持久化记忆框架，通过为每个摘要槽分配分布内的虚拟位置保持可寻址性。WorldTrace-Field压缩历史以提升时序一致性，WorldTrace-Landmark在场景转换处存储逐字轨迹用于情节回忆。在LoopBench基准上，WorldTrace-Field将时序一致性提升15.5%，WorldTrace-Landmark将情节回忆提升19.5%。

论文 WorldTrace LoopBench 世界模型

推荐理由：看这个，论文解决了视频生成模型长视频记忆丢失的问题，不重新训练就能把一致性拉高15个点，做视频生成的人应该关心。

原文

8月7日

13:15

官方一手arXiv: DeepSeek@Fanzhe Wei, Li Liu, Ziyang Wang, Chenyu Wang

精选

论文提出覆盖四类注意力内存的统一运行时可观测性契约，用三个算子实例化到五个架构族的六种模型配置。契约将误差度量作为类型，度量不匹配时组合被拒绝，并自动降级为经验性证据。在1240万条读取回放和八路并发下验证风险账本，零违规。应用于DeepSeek-V4压缩KV原型时，定位到静默损坏的结构边界。

论文注意力内存可观测性 KV缓存

推荐理由：MetaSk团队发了个监控注意力内存的工具，能跨四类缓存统一检测，实测定位了DeepSeek-V4的静默损坏，还有Lean证明。

原文

8月5日

11:56

官方账号arXiv cs.LG@Taekyung Heo, Rasoul Shafipour, Ritchie Zhao, Maximilian Golub, Mohammad Mahdi Kamani, Ritika Borkar, Makesh Tarun Chandran, Pantea Zardoshti, Bita Darvish Rouhani

论文提出跨模型KV缓存迁移，让同系列不同尺寸模型切换时直接复用源模型的KV缓存，省去接收方从头预填充。在Qwen3 14B到32B上，单个源层能解释目标键56%的方差、值的32%，多个源层提升到79%和65%。方法用闭式岭回归映射器，基于500条FineWeb-Edu序列（每条1024 token）拟合，并在映射前剥离RoPE以保持位置无关。在三个模型族的六对组合中，四对保留了73%到98%的独立预填充准确率，两对退化严重，用非线性MLP最多挽回37个百分点HellaSwag；映射器比重新预填充快2.7到25倍。

论文 Qwen3 KV缓存跨模型迁移

推荐理由：同系列模型切换总得重新预填充？这篇用线性映射传KV缓存，能省2.7到25倍时间，四对组合还保住九成以上准确率。

原文

7月30日

09:43

官方账号arXiv cs.LG@Peter Li, Prashant Pandey

InferScale 提出一种 GPU 原生的 KV 缓存注入方案，将每个记忆事实的 KV 表示预计算并存储在 GPU 上，服务时直接注入 vLLM 的页式缓存，避免重复预填。他们引入 Chunked RoPE 解决动态组装记忆的位置编码问题，并用 Context-Window Encoding 弥补独立编码缺失的跨事实上下文。在 LoCoMo 基准上，k=50 时 TTFT 降低 72-79%（3.6-4.8x），吞吐量提升 3.7-4.5x，准确率（60.3%）接近带服务时重计算的 Mem0（63.3%）。无需修改引擎或微调模型即可集成到 vLLM。

论文 InferScale vLLM KV缓存

推荐理由：看完这篇论文，你就明白怎么让 LLM 在有多层记忆时不再反复重算——InferScale 直接把 KV 缓存存好，做到检索量再大 TTFT 基本不变。

原文

7月28日

11:35

官方一手arXiv: DeepSeek@Dhruvil S, Fenil Sojitra, Ravirajsinh Chauhan

精选

论文首次对DeepSeek-V2引入的多头潜在注意力（MLA）进行全面的可解释性分析。研究者训练了一个114M参数的Transformer，在TinyStories上微调后通过SVD、线性探针等方法发现：共享低秩瓶颈cKV保留了98%的实体身份信息，几乎完全丢弃位置信息，实现了81%的KV缓存压缩。归纳头集中在第12层，而标准多头注意力中它们分布在不同层。瓶颈平均仅使用46%的容量，存在过度配置。这些结果揭示了MLA并非被动压缩，而是主动重塑了模型的内容组织、位置编码和电路结构。

论文 MLA DeepSeek-V2 可解释性

推荐理由：想看MLA到底怎么工作的？这篇论文用114M模型做实验，发现cKV只记内容不记位置，还能省81%缓存，归纳头也全挤在一层，挺有意思的。

原文

10:58

官方账号arXiv cs.AI@Zefeng Cai, Zerui Cai

这篇论文研究了长时程智能体复用KV缓存作为记忆时的语义具体化现象。实验发现，在Qwen3-8B上，通过构造不含答案的事件，可将关联值恢复率从6%提升到51%。作者指出，被动从对话中提取自然提及没有检测到优势，而主动构造特定表述能显著影响记忆写入。结果表明，稀疏事件KV服务存在记忆契约：写入什么、落在哪里、源事件消失后保留什么，都有明确规律。

论文 Qwen3-8B KV缓存记忆机制

推荐理由：论文用Qwen3-8B做实验，发现KV缓存里的事件行能独立保存计算视图，主动构造回答无关事件能让恢复率从6%跳到51%，对搞Agent记忆的人很有参考价值。

原文

7月27日

11:55

官方账号arXiv cs.AI@Chao Fang, Jun Yin, Man Shi, Marian Verhelst

HiKV是一种算法-硬件协同设计的KV缓存压缩方法，通过两阶段重要性感知实现高压缩率：第一阶段在固定预算内驱逐不重要的token，第二阶段对每个保留token仅加载显著元素。基于可重构重要性排序器的专用加速器统一两阶段的数据通路，仅增加8%系统面积。在代表性LLM上，HiKV实现高达7.95倍加速和90%能耗降低，精度损失小于1%。在等精度约束下，相比其它重要性方法额外减少1.82~4.87倍外部内存访问。

论文 HiKV KV缓存硬件加速

推荐理由：这篇论文提出HiKV，用两阶段KV缓存压缩加专用硬件，7.95倍加速、90%省电，精度几乎不掉。做长上下文LLM推理加速的可以看看。

原文

7月24日

11:54

官方账号arXiv cs.LG@Alagappan Valliappan

针对百万token上下文场景，论文指出原生MTP草稿头因全面注意力机制导致KV缓存读取随上下文线性增长，抵消了投机解码的加速优势。作者提出Windowed-MTP方法，仅对草稿注意力层应用StreamingLLM式滑动窗口加注意力汇聚，将草稿KV工作集限制为常数，在1M上下文中丢弃约99%的KV条目。在Qwen GDN-MoE 35B/122B和Mamba2-hybrid NoPE 120B三类架构、单GPU SGLang环境下，每步解码成本比原生MTP降低28%-44%，且不改变目标模型输出分布。该方法无需训练、即插即用，并可回收未读取的草稿KV（1M时占总KV的7.7%-11%）。

论文 Windowed-MTP 投机解码 KV缓存

推荐理由：这篇论文解决了长上下文下投机解码的瓶颈，用滑动窗口草稿省掉99%的KV读取，实测速度提升近三成，而且不损失精度。搞大模型推理优化的值得看。

原文

7月20日

10:47

官方账号arXiv cs.LG@Yuchen Yang, Yifan Zhao, Anisha Dasgupta, Sasa Misailovic

MoE大模型在KV缓存密集场景下，模型权重与KV缓存之间存在GPU内存竞争。PagedWeight方法在运行时动态量化MoE权重，平衡专家权重精度与缓存大小。在多个内存敏感场景中，PagedWeight在FP16等效精度下节省72.0% GPU内存并提升1.94倍吞吐量。在相似内存预算下，其质量比现有量化方法高出39.3%，吞吐损失不超过4.1%。

论文 MoE LLM推理权重量化

推荐理由：这篇论文展示了PagedWeight方法，能在MoE模型服务里动态量化权重，省内存还保准，比之前的方法效果明显更好。

原文

7月15日

02:16

官方账号Clement Delangue@ClementDelangue

精选

Clement Delangue 转推了 SpiritBun 的 VBR（Variable Bit Rate）KV 缓存格式。该格式在会话增长过程中逐层动态量化 KV 缓存，在 VRAM 限制内最大化生成质量。目前代码已合入主分支并可用。

AI模型 VBR KV缓存量化

推荐理由：SpiritBun 搞了个新 KV 缓存格式 VBR，逐层动态量化，在显存限制内榨出最高质量，已开源可用。

原文

7月6日

11:00

Geek@geekbb

精选

小红书团队开源了一个高效长上下文LLM服务框架。该框架通过注意力头分类和分段式KV缓存策略，将长上下文大模型推理的预填充FLOPs降低约50%-70%。同时保持接近无损的精度。代码已在GitHub上开源。

AI模型小红书长上下文 LLM推理

推荐理由：小红书开源了一个长上下文LLM推理框架，用注意力头分类和分段缓存把预填充算力省掉一半多，精度基本没损失，适合超长文本场景。

原文

7月2日

11:14

官方账号arXiv cs.LG@Soosung Kim, Minjae Park, Eui-Young Chung, Jaeyong Chung

GSRQ提出Gain-Shape K-means (GSKM)替代传统K-means，解决高维中欧氏质心收缩导致的方向偏差问题。在LLaMA-3-8B上，1-bit量化时LongBench平均准确率从11.34提升至33.54，比VQLLM提高22.20个百分点。该方法在保持向量方向的同时实现子1-bit压缩。

AI模型 GSRQ Gain-Shape Residual Quantization KV缓存

推荐理由：这篇论文搞了个GSRQ新量化方法，1-bit下比VQLLM准22个点，专门解决KV缓存压缩时的方向丢失问题。

原文

7月1日

09:43

官方账号arXiv cs.LG@Wenhao Li, Jinhao Dong, Hailin Zhang, Wenhang Shi, Wei Lu, Xiaoyong Du

RaBitQCache利用随机旋转二进制量化和二进制INT4算术高效估计注意力权重。该方法的代理分数是无偏估计量且具有可证误差界，支持自适应Top-p检索动态调整令牌预算。硬件感知系统通过异步流水线和惰性更新隐藏开销。实验表明，相比现有基线，RaBitQCache显著加速推理并减少内存I/O，同时保持生成质量。代码已在GitHub开源。

论文 RaBitQCache 旋转二进制量化 KV缓存

推荐理由：RaBitQCache用旋转二进制量化KV缓存，比现有稀疏注意力方法更快更省内存，还能自适应调整预算。

原文

6月19日

11:01

官方账号arXiv cs.LG@Inesh Chakrabarti, David Limpus, Aditi Ghai Rana, Bowen Bao, Spandan Tiwari, Thiago Crepaldi, Ashish Sirasao

论文提出UltraQuant，一种针对智能体工作负载的4位KV缓存压缩方法，基于TurboQuant旋转和码书量化。在长上下文多轮任务中，UltraQuant在缓存压力大的后期轮次将P50首令牌延迟降低3.47倍，全轮次平均降低2.3倍。相比FP8 KV缓存基线，输出吞吐量提升1.63倍。设计包括非对称K/V处理、Walsh-Hadamard旋转及AMD GPU专用优化。

论文 UltraQuant FP4 KV缓存

推荐理由：长上下文智能体推理慢？UltraQuant把4位KV缓存做到实用，延迟降3倍多，吞吐涨1.6倍，值得看看。

原文

09:34

官方一手arXiv: DeepSeek@Ruiyang Ma, Teng Ma, Junru Li, Hantian Zha, Xuchun Shang, Qingda Hu, Zheng Liu, Xinjun Yang, Tao Ma, Guojie Luo

精选71°

长上下文LLM推理的内存瓶颈日益突出。传统RDMA解耦内存池对于稀疏注意力模型效率低下，仍需完整获取KV缓存。SAC系统利用CXL的低延迟、缓存行粒度加载/存储语义，仅在推理时按需获取所需的top-k KV条目。在DeepSeek-V3.2上使用SGLang的评估显示，相比RDMA基线，SAC实现了2.1倍吞吐量提升、9.7倍TTFT降低和1.8倍TBT降低。

论文 SAC CXL KV缓存

事件专题

推荐理由：长上下文推理，内存传输是瓶颈。新方案SAC用CXL按需取KV缓存，比RDMA吞吐量翻倍、延迟降到十分之一，做稀疏推理的值得一看。

原文

6月16日

12:23

官方账号arXiv cs.LG@Mufei Li, Shikun Liu, Dongqi Fu, Haoyu Wang, Yinglong Xia, Hong Li, Hong Yan, Pan Li

KVEraser是一种面向大语言模型KV缓存的编辑方法，旨在高效擦除已处理上下文中的指定片段。该论文提出，直接擦除会导致全局影响，需重新计算后续所有token，成本高昂。KVEraser通过两阶段训练（通用跨度-邻居预训练和任务微调），仅替换被擦除区间的KV状态，保留其余缓存。在1K至32K上下文长度的域内任务中，KVEraser的擦除后性能接近完全重计算，延迟仅增加24%，而完全重计算延迟增加17.6倍。在未见过的长文档问答任务中，KVEraser在有害事实干扰下比近似基线表现更好，速度比完全重计算快3至4倍。

论文 KVEraser KV缓存上下文擦除

推荐理由：这篇论文提出KVEraser，能快速从大模型KV缓存中擦除指定内容，不用全部重算，1K-32K长度下延迟只增24%，效果接近重算，适合长上下文场景。

原文

6月13日

13:28

官方账号Together AI@togethercompute

精选

Dan Fu在斯坦福CS336课程中讲解了推理时的KV缓存、prefill/decode分离技术，以及大规模推理的架构。他介绍了Megakernels，通过融合GPU操作实现接近光速的LLM解码。还讨论了Parcae，解释了循环Transformer的扩展问题及其修复方法，并提出了新的缩放定律，暗示现有方法可能未充分利用智能潜力。

论文 KV缓存 Megakernels Parcae

推荐理由：Dan Fu讲KV缓存和Parcae新缩放定律

原文

6月12日

09:06

官方账号arXiv cs.AI@Luoyuan Zhang

这篇论文指出当前 AI 智能体在处理相同文档时，每个智能体都会重复执行最耗计算的前缀填充（prefill）步骤，重建相同的键值（KV）缓存，造成巨大浪费。作者提出一个简单方案：让发布者预计算文档的 KV 缓存，其他智能体付费加载后跳过 prefill。实验表明，在 Qwen3-4B 模型上，复用比从头 prefill 节省 9-50 倍计算量，且输出 token 完全一致。但 KV 缓存体积大、难以压缩，直接传输成本高；作者建议在服务端托管（类似 prompt-caching），消除传输开销。以一个热门 3774 token 文档被 80M 智能体访问为例，复用计算成本仅约 3 万美元，而重新 prefill 需 150 万美元，节省 49.7 倍。论文还提出了智能体原生 prefill CDN 的框架，并指出无损 KV 压缩和跨方支付层是待解决的关键问题。

论文 KV缓存推理优化智能体

推荐理由：这篇论文直击 AI 智能体重复计算同一文档的浪费痛点，做 LLM 推理优化或智能体基础设施的团队值得关注——它提出的 KV 缓存共享方案可能大幅降低推理成本，且已有实测数据支撑。

原文

6月9日

11:03

官方账号arXiv cs.AI@Ang Li, Sean McLeish, Haozhe Chen, Nimit Kalra, Zaiqian Chen, Artem Gazizov, Venkata Anoop Suhas Kumar Morisetty, Bhavya Kailkhura, Harshitha Menon, Zhuang Liu, Brian R. Bartoldson, Tom Goldstein, Sanae Lotfi, Micah Goldblum, Pavel Izmailov

精选

长上下文语言模型推理受限于内存，KV缓存随上下文长度增长。现有压缩方法要么降低模型质量，要么需要大量计算。本文提出Latent Context Language Models (LCLMs)，一种编码器-解码器压缩器，通过架构搜索和预训练350B+ tokens，实现1:4、1:8、1:16压缩比。LCLMs在通用任务性能、压缩速度和峰值内存使用上均优于现有方法，并可作为长时智能体的高效骨干，支持自适应扩展相关片段。

论文上下文压缩 KV缓存长上下文推理

推荐理由：长上下文推理的内存瓶颈终于有了一个兼顾质量与速度的解法，做LLM推理优化或长时智能体的开发者值得关注，LCLM的压缩方案可以直接用于生产环境。

原文

10:41

官方账号arXiv cs.AI@Rakibul Hasan Rajib, Mengxin Zheng, Qian Lou

精选72°

多轮LLM Agent服务将无状态请求处理转变为有状态程序执行，需要调度、KV缓存管理和路由策略利用程序级上下文。直接在真实系统上评估这些策略成本高昂，而现有模拟器仅针对无状态请求。AGENTSERVESIM 是一个硬件感知模拟器，通过程序编排器、工具模拟器、会话感知路由器和KV驻留模型等模块，在程序粒度上评估服务策略。在真实部署和硬件配置下，AGENTSERVESIM 在关键性能指标上误差小于6%，且完全在普通CPU上运行。该工具使得无需在昂贵加速器上大规模部署即可进行可控、可重复的Agent服务策略探索。

论文 LLM Agent 模拟器 KV缓存

推荐理由：做LLM Agent服务部署和优化的团队，终于有了一个低成本、高精度的模拟工具来测试调度和缓存策略，不用再烧GPU时间试错，建议直接看论文细节。

原文

10:34

官方账号arXiv cs.AI@Toshiaki Koike-Akino, Jing Liu, Ye Wang

精选

张量网络能高效压缩大型神经网络，但现有方法难以在大模型中识别低秩结构。EinSort提出一种自适应张量化方法，通过索引排序发现目标张量中的内在低秩结构。在权重和KV缓存压缩实验中，该方法相比基线显著提升了重建质量。这为LLM的存储和计算优化提供了新思路，尤其适合资源受限场景。

论文 LLM压缩张量网络低秩结构

推荐理由：做LLM压缩和部署的团队值得关注——EinSort用排序技巧解决了张量化的核心痛点，直接提升压缩效率，建议在模型优化流程中试试。

原文

6月5日

12:06

官方账号arXiv cs.AI@Yutao Sun, Yanqi Zhang, Li Dong, Jianyong Wang, Furu Wei

精选

本文提出跨层稀疏注意力（CLSA），一种基于KV共享架构（如YOCO）的新方法。核心创新在于不仅共享KV缓存，还共享路由索引——单个索引器计算一次token级top-k选择，结果跨层复用，既保留了细粒度选择性，又分摊了路由开销。实验显示，在128K上下文下，CLSA实现最高7.6倍解码加速和17.1倍整体吞吐提升，同时保持模型质量。这为长上下文LLM提供了一种兼顾效率与质量的架构方案。

论文稀疏注意力长上下文推理加速

推荐理由：长上下文推理的瓶颈终于有了系统级解法——CLSA通过共享路由索引同时加速预填充、缓存和解码，做LLM推理优化的团队值得看看这个架构思路。

原文

6月3日

12:49

rohanpaul_ai@rohanpaul_ai

一篇新论文提出Self-Pruned Key-Value Attention方法，让大语言模型在长文本生成时只保留对后续token有用的历史键值对，从而大幅压缩KV缓存。该方法通过一个小型预测器为每个键值对打分，只保留高分项，同时确保最近token始终保留。模型在训练时通过正常的next-token预测学习剪枝策略，无需手工规则。实验表明，模型通常只保留10%到33.7%的旧键值对，性能接近全注意力，解码速度在长上下文场景下提升2.1到4.6倍。

论文 KV缓存长上下文注意力机制

推荐理由：KV缓存是长上下文推理的瓶颈，这篇论文用自学习剪枝解决了内存爆炸问题，做LLM推理优化或长文本应用的开发者可以直接参考其方法。

原文

10:38

官方账号arXiv cs.LG@Ting-Yun Chang, Harvey Yiyun Fu, Deqing Fu, Chenghao Yang, Jesse Thomason, Robin Jia

精选

推理模型通过长思维链提升准确性，但长输出导致内存和计算瓶颈。现有KV缓存淘汰方法在压缩缓存时会丢失关键信息，导致模型陷入重复推理循环。研究发现，少量值状态具有异常大的幅度，淘汰它们会引发灾难性失败；引入随机性可提高缓存多样性。基于此，研究者提出VaSE方法，无需训练即可保护大幅度值状态并促进多样化淘汰决策。在6个推理任务上，Qwen3模型使用VaSE实现4倍KV缓存压缩，准确率超过最强淘汰方法4%以上，弥合了效率与准确性之间的差距。

论文 KV缓存推理模型内存优化

推荐理由：推理模型的长输出让内存和计算成本飙升，VaSE用随机淘汰策略在4倍压缩下保持高准确率，做推理模型优化的开发者可以直接参考论文实现。

原文

10:15

官方账号arXiv cs.AI@Mubarak Adetunji Ojewale

精选

解耦式LLM推理中，KV缓存需在解码前穿越数据中心网络，导致传输时间直接计入首令牌延迟（TTFT）。现有调度器仅考虑计算负载和前缀缓存局部性，忽略了预填充与解码实例间的拓扑距离和动态拥塞。NetKV通过引入网络成本预言机，证明了忽略网络项会导致缓存感知调度在上下文长度增长时性能任意次优。在64 GPU四层胖树模拟器上，NetKV将平均TTFT降低21.2%，SLO达标率提升20.1个百分点，且每令牌时间开销低于0.5毫秒。该方法无需修改传输层、推理引擎或硬件。

论文推理模型 KV缓存网络感知调度

推荐理由：做大规模LLM推理部署的团队，NetKV直接解决了TTFT瓶颈——网络延迟被正式纳入调度决策，实测效果显著且零侵入，值得在现有集群上评估。

原文

5月29日

11:05

官方账号arXiv cs.AI@Hidir Yesiltepe, Jiazhen Hu, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Hoda Eldardiry, Pinar Yanardag

精选

VideoMLA首次将多头潜注意力（MLA）应用于视频扩散模型，通过共享低秩内容潜变量和分离的3D-RoPE位置键，将每个token的KV缓存内存减少92.7%。研究发现，尽管视频注意力并非低秩（99%能量有效秩远超实际潜变量维度），但MLA瓶颈决定了有效秩，而非预训练频谱，从而在压缩比下保持质量。在VBench基准上，VideoMLA在短时视频扩散中匹配基线，在长时任务中取得最佳综合得分，并在单块B200上实现1.23倍吞吐量提升。该工作解决了长序列视频生成中KV缓存内存和延迟瓶颈，为分钟级视频扩散提供了高效方案。

论文视频扩散 KV缓存低秩注意力

推荐理由：视频生成团队终于有了解决长序列KV缓存内存爆炸的方案——VideoMLA将内存减少92.7%且不牺牲质量，做长视频扩散的开发者可以直接在B200上试，吞吐量提升1.23倍。

原文

5月28日

22:12

22:12IT之家（博客/媒体）

慧荣（Silicon Motion）发布了面向AI推理与KV缓存工作负载优化的固态硬盘主控芯片SM2524XT。该主控采用台积电6nm制程，拥有4个内核和DRAM-less架构，支持PCIe Gen5×4，顺序读取速率达14GB/s，随机性能代际提升25%。慧荣指出，KV缓存已成为AI PC响应速度的关键瓶颈，SM2524XT专为应对AI驱动的高度碎片化、延迟敏感的随机读写操作而设计，能在持续推理会话中保持稳定性能。

AI产品慧荣 SSD主控 AI推理

推荐理由：AI PC和边缘推理场景的存储瓶颈终于有了针对性解决方案，做AI硬件或部署本地模型的开发者值得关注这款主控的实际表现。

原文

10:33

10:33IT之家（博客/媒体）

83°

小米 MiMo 官方宣布 MiMo-V2.5 系列 API 永久降价，最高降幅达 99%，且不再区分上下文窗口长度。小米 MiMo 负责人罗福莉在 X 平台发文解释，降价主要得益于推理框架对 SWA 的分层 KV 缓存优化，将缓存 Token 容量提升 5 倍，降低 80% 缓存成本。此外，模型架构的 1:7 Full:SWA 稀疏比使原始推理成本远低于行业平均水平，留有 2 到 3 倍利润空间。降价后，生产推理引擎接近满负载运行，仍能维持收支平衡。罗福莉认为，合理定价的 API 将驱动真实推理需求，拉动 AI 基础设施链发展，形成良性循环。

AI产品 MiMo API降价推理优化

推荐理由：小米 MiMo 用架构和推理优化把 API 价格打下来，做 AI 应用开发的团队可以直接用更低成本调用高性能模型，建议关注后续技术博客。

原文

5月22日

11:03

官方账号arXiv cs.AI@Sadia Asif, Mohammad Mohammadi Amiri, Momin Abbas, Prasanna Sattigeri, Karthikeyan Natesan Ramamurthy

精选

基于大语言模型的多智能体系统常通过中间通信协调任务，其中通过Transformer的KV缓存进行潜在通信能提升效率并保留更丰富的任务相关信息。但KV缓存会编码上下文输入、中间推理状态和智能体特定信息，形成不透明通道，可能导致敏感内容在智能体间传播而无需显式文本披露。为此，研究者提出LCGuard框架，将共享KV缓存视为潜在工作记忆，在缓存工件传输前学习表示级变换。通过对抗训练形式化敏感信息泄露：若对抗解码器能从共享缓存中恢复智能体特定敏感输入，则视为不安全。实验表明，LCGuard在多个模型家族和多智能体基准上持续降低基于重建的泄露和攻击成功率，同时保持与标准KV共享基线相当的任务性能。

论文多智能体系统 KV缓存安全/隐私

推荐理由：多智能体系统开发者终于有了保护KV缓存中隐式敏感信息的方案——LCGuard在不牺牲任务性能的前提下阻断信息重建攻击，做分布式AI协作的团队值得关注。

原文

5月20日

10:42

官方一手arXiv: DeepSeek@Moiz Arif, Avinash Maurya, Sudharshan Vazhkudai, Bogdan Nicolae

精选72°

本文系统研究了从标准生成式 AI 向推理密集型架构（如长链思维模型）转变时，LLM 推理面临的新瓶颈。研究发现，推理工作负载产生大量推理 token，使推理进入“容量受限”阶段，而非传统的计算受限阶段。通过评估 8B 到 671B 参数模型，论文揭示了数据并行在小模型上高效但受 KV 缓存碎片影响，张量并行在 32B 参数附近有次线性增益，而大规模稠密模型受互联和内存带宽限制，稀疏 MoE 模型则受路由和同步延迟限制。这些发现为构建下一代推理基础设施提供了决策框架。

论文推理模型并行策略 KV缓存

推荐理由：这篇论文戳中了推理模型部署的核心痛点——从计算瓶颈转向容量瓶颈，做 LLM 推理优化的工程师和架构师值得细读，能帮你避开常见的并行策略陷阱。

原文

5月14日

13:26

官方账号arXiv cs.LG@Victor Norgren

精选70°

传统 Transformer 推理引擎在流式工作负载中，每次查询都需要 O(n) 的预填充成本，随着上下文增长成本急剧上升。本文提出基于状态会话的数据驱动计算模型，通过持久化 KV 缓存增量更新，将预填充移出关键路径，使查询延迟降至 O(|q|)，与累积上下文大小无关。Flash Queries 机制利用数据到达间的空闲 GPU 周期预评估注册问题并缓存答案，这在无状态引擎中无法实现。多租户连续批处理调度器支持数十个状态会话在单 GPU 上共存，同时保持完整二次自注意力。在流式市场数据基准测试中，参考实现相比 vLLM、SGLang、TensorRT-LLM、llama.cpp 等传统引擎实现最高 5.9 倍加速，且查询延迟不随上下文增长而增加。

论文推理优化流式推理 KV缓存

推荐理由：流式推理场景（如实时数据监控、金融交易、对话系统）的开发者终于有了降低延迟的可行方案——把预填充移出关键路径，查询延迟与上下文大小解耦。做高吞吐低延迟推理服务的团队值得关注这个新范式。

原文

5月13日

19:12

官方账号arXiv cs.AI@Alireza Nadali, Patrick Cooper, Ashutosh Trivedi, Alvaro Velasquez

精选

KV-Fold 是一种无需训练的长上下文推理协议，将键值（KV）缓存视为序列块上的左折叠累加器。模型在处理每个块时，基于累积的缓存进行条件处理，追加新生成的键和值，并将扩展后的缓存传递到下一步，重复这一单步更新过程。该方法在 Llama-3.1-8B 模型上的“大海捞针”基准测试中，在 152 次试验中实现了 100% 的精确匹配检索，覆盖 16K 到 128K 令牌的上下文和最多 511 层的链深度，且仅需单块 40GB GPU 内存。KV-Fold 的递归过程稳定，每步漂移短暂上升后饱和为平坦平台，对数值精度变化不敏感，跨块大小和模型家族表现一致。这项工作表明，冻结的预训练 Transformer 已经支持稳定的 KV 缓存递归形式，为无需架构更改或训练的长上下文推理提供了实用路径。

论文长上下文推理 KV缓存递归

推荐理由：KV-Fold 用简单的左折叠思路解决了长上下文推理的内存和精度痛点，做 LLM 推理优化或长文档处理的团队可以直接在现有模型上尝试，无需额外训练。

原文