Decode

general · First seen 2026-05-25 · Last seen 2026-11-19 · 150 mentions

Overview

Decode 指大语言模型推理中的解码阶段,即模型逐 token 生成回答的过程,也是当前 LLM 推理成本与速度的主要瓶颈。与预填充(Prefill)一次处理整段输入不同,Decode 需要反复读写 KV Cache,对显存带宽高度敏感,因此围绕它的优化——从稀疏注意力、KV Cache 管理到专用芯片——正成为推理系统竞争的核心战场。

Decode 优化近期进展

  • DeepSeek V4.1 Flash 在 GB300 NVL72 上推理速度提升至 1.5 倍:1.5 倍的解码加速来自 GB300 NVL72 硬件栈与模型侧的协同优化,显示出头部模型厂商已把 Decode 吞吐作为版本迭代的关键指标。
  • Supermicro 与 SambaNova 合作推出推理系统,首批 1 万颗 SN50 芯片:1 万颗 SN50 的首批出货标志着专用推理芯片进入规模化部署,其大容量片上内存思路直指 Decode 阶段内存带宽受限的痛点。
  • LeanSparse:面向原生稀疏注意力 LLM 的省显存推理系统:该工作针对原生稀疏注意力模型优化解码显存占用,表明模型架构与推理系统的协同设计正在成为新范式。
  • Latent Sparse Attention:让超长上下文注意力计算提速 72 倍:72 倍的加速聚焦超长上下文场景,说明 Decode 在长文本下的计算冗余已被视为显著可压缩的空间。
  • 当前焦点与观察点

    Decode 优化的讨论正从单一 kernel 层面向系统性工程扩散。KV Cache 是最集中的议题:阿里云 Tair 团队与 SGLang 社区共同推进的 Agentic Cache 调度路线图,以及 ARK 对分离式推理中 KV Cache 传输路由冲突的处理 的相关工作(arXiv:2610.41160),分别从调度与通信角度切入;社区层面,KVCache Meetup Korea 分享的 CXL 内存池化实践 显示内存池化硬件方案也开始落地讨论。

    成本结构方面,SambaNova 在其 智能体成本拆解 中指出,真正的开销来自输出 token 而非请求次数——这直接对应 Decode 阶段的算力消耗,也解释了为何 Agent 应用兴起会放大解码优化的商业价值。另一个值得观察的方向是自动化:Evolving Agent Teams 在 GPU 内核优化上超越 FlashInfer 的多智能体框架(arXiv:2610.36848)提示,AI 系统的解码 kernel 本身也可能由 AI 自动调优。总体来看,Decode 竞争的主线是「更长上下文、更低单 token 成本」,架构协同与 KV Cache 工程化将是短期内最可能出成果的两个方向。

    Coverage

    10 on file