AITOPAI热报

Cache

general · First seen 2026-05-22 · Last seen 2026-10-27 · 447 mentions

Overview

Cache（缓存）在 AI 领域特指大模型推理中的 KV 缓存：模型在生成文本时把注意力计算所需的键值中间结果保存下来，避免重复计算。它是决定推理速度、显存占用和成本的核心资源，也是当前推理引擎优化竞争最激烈的环节。

KV Cache 近期进展

  • vLLM 引入 push-based NIXL 连接器，分离式推理 TTFT 提升最高 3 倍：vLLM 采用推送式 KV 传输连接器，在预填充与解码分离的部署架构中，首 token 延迟（TTFT）最高提升 3 倍，同时改善逐 token 延迟。
  • 新论文提出智能体 KV 缓存自管理方法，成本再降 7.1%：让智能体自己决定缓存内容的保留与丢弃，在多轮对话场景下把推理成本再降 7.1%，方向从引擎层转向模型行为层。
  • vLLM 的 KV Cache 卸载机制：CPU 与共享存储怎么选：vLLM 梳理了把缓存卸载到 CPU 内存与共享存储的权衡，为长上下文、高并发场景提供工程参考。
  • DeepSeek 开源生产级推理引擎 DeepInfer，8 小时收获 6.3K 星：DeepSeek 开源内部推理框架 DeepInfer，8 小时内 GitHub 星标达 6.3K，缓存管理与调度是其中的关键组件。

    • Cache 技术的分化路线

    围绕缓存的优化正出现两条路线。一条是“用好缓存”：vLLM、DeepInfer 等推理引擎在传输、卸载、分离式部署上持续改进，PyTorchCon 2026 上 vLLM 也展示了 KV cache 与多硬件内核优化，并推出 TorchTPU 后端 扩展硬件适配面。另一条是“绕开缓存”：i14 在 AWS Trainium2 上用原生 PyTorch 训练并部署线性注意力模型 Laplace 3B，线性注意力架构从根本上消除了随上下文线性增长的 KV 存储。此外，MemOS 团队发布记忆原生大模型 MemT 1.0，把记忆写入变成模型自身能力，探索缓存之外的长期记忆方案。

    当前焦点与观察点

    短期看，KV 缓存仍是主流 Transformer 推理的必经之路，工程优化（传输、卸载、分层存储）带来的收益最直接；中长期看，线性注意力等无缓存架构与记忆原生模型能否在生产环境稳定落地，将决定缓存这一概念在大模型基础设施中的地位是否被重构。值得关注的具体指标包括 TTFT/TPOT 提升幅度、显存卸载的性价比，以及新架构在实际业务中的吞吐表现。

    Coverage

    10 on file