AITOPAI热报

推测解码

general · First seen 2026-05-22 · Last seen 2026-10-25 · 37 mentions

Overview

推测解码（Speculative Decoding）是一种大语言模型推理加速技术：由一个小型“草稿模型”先快速生成若干候选 token，再由目标大模型一次性并行验证，从而在保证输出分布不变的前提下显著提升生成速度。随着 EAGLE、MTP 等方法迭代以及 vLLM 等主流推理框架原生支持，推测解码已成为开源社区降低大模型推理延迟的主流方案之一。

推测解码近期进展

  • Eagle Corp 开源 EAGLE-4：自适应推测解码加速 LLM 推理：Eagle Corp 开源了 EAGLE-4，主打自适应草稿机制。据 rohanpaul_ai 的测试数据，EAGLE-4 推测解码达到 863.8 tokens/s，比 DFlash 2 快 1.28 倍，显示出草稿模型路线仍在快速演进。
  • 开源推测解码工具 Woodcock 让 Qwen3-1.7B 提速至 300 tok/s：开源工具 Woodcock 针对小参数模型优化，把 Qwen3-1.7B 的生成速度提升到 300 tok/s，说明推测解码不只面向大模型，在轻量级本地部署场景同样有效。
  • LoopAhead：面向 Looped Transformer 的推测解码框架，加速最高 7.82 倍：学术论文 LoopAhead 把推测解码扩展到 Looped Transformer 架构，最高加速 7.82 倍，表明该技术正从标准 Transformer 向更多模型结构泛化。
  • vLLM 自适应验证不再依赖训练置信头，兼容 MTP、EAGLE 等草稿模型：vLLM 引入自适应验证机制，无需额外训练置信头即可兼容 MTP、EAGLE 等多种草稿模型，降低了工程接入门槛。

    • 当前焦点与观察点

    社区生态方面，Hugging Face 近期专门开设直播讲解推测解码如何加速本地 LLM（见实操分享），说明这项技术正在从研究走向普通开发者的本地部署工作流。

    研究层面的一个新方向是与稀疏注意力结合：Adaptive DHiSparse 提出了支持推测解码的自适应 KV 层次结构（论文），试图在长上下文场景下同时优化验证与显存开销。

    值得关注的争议点是收益的实际边界：草稿模型与目标模型越匹配、接受率越高，加速越明显，但在批量并发推理、长输出场景下优势会收窄，实际部署仍需结合具体负载测试。

    Coverage

    10 on file