AITOPAI热报

Multi-Token

general · First seen 2026-05-22 · Last seen 2026-10-21 · 31 mentions

Overview

Multi-Token(多 token 预测,MTP)是一种让大语言模型在解码阶段一次预测多个 token 的推理加速技术,近年来从 DeepSeek-V3 的训练架构设计逐步演化为社区广泛采用的加速方案。与逐 token 生成的传统自回归解码相比,Multi-Token 通过并行预测后续多个 token,在不显著损失生成质量的前提下大幅提升推理吞吐,目前已成为开源推理框架与端侧部署的热门方向。

Multi-Token 近期进展

  • llama.cpp 加入 MTP 支持,本地模型速度提升 78%:主流本地推理引擎 llama.cpp 已支持 MTP,官方数据显示本地模型推理速度最高提升 78%,意味着这项技术不再局限于大型数据中心,普通消费级硬件也能受益。
  • atomic.chat 用 MTP 让本地 Qwen 27B 从 51 飙到 117 tokens/s:Qwen 系列模型在 Atomic Chat 中借助 MTP 实现约 2.5 倍提速,27B 参数模型的本地生成速度从 51 tokens/s 提升至 117 tokens/s,展示了 MTP 与开源模型结合的实际收益。
  • AMTP:自适应多 token 预测让 Llama-3.1 解码提速至 4.1 倍:研究者提出自适应 MTP 方案,根据上下文动态决定预测 token 的数量,在 Llama-3.1 上将解码速度提升至 4.1 倍,说明静态多 token 预测仍有优化空间。
  • Match the Distribution, Not the Compute: Post-Training Multi-Token Prediction Heads:DeepSeek 相关团队探索在训练后阶段附加 MTP 头,使已有模型无需重训即可获得多 token 预测能力,降低了这项技术的应用门槛。

    • 当前焦点与观察点

    Multi-Token 技术目前的核心争议在于质量与速度的权衡:一次预测多个 token 可能带来生成内容偏离原分布的风险,因此后训练 MTP 头、自适应预测长度等方案都在尝试在保证输出质量的同时提高加速比。另一个趋势是生态落地加速,从 llama.cpp 的 78% 提速到 Qwen 的 2.5 倍提升,MTP 正从论文走向推理框架的默认能力。未来值得关注的观察点包括:主流厂商新模型是否会原生携带 MTP 权重、自适应多 token 预测能否成为标准做法,以及端侧硬件对 MTP 推理的原生支持程度。对需要在本地部署大模型的开发者和企业而言,Multi-Token 已经从可选项逐渐变成值得默认开启的性能优化手段。

    Coverage

    10 on file