推测解码相关 AI 资讯

8月14日

11:31

官方账号arXiv cs.LG@Tianyi Li, Yaxin Luo, Xinyi Shang, Zhiqiang Shen

DARTree是一种免训练的推测性解码方法，将预训练的自回归修正头从链式扩展为树结构，以加速大语言模型推理。它通过批量扩展和评分构建固定宽度的候选树，再经最佳优先剪枝选出验证树，无需顺序堆操作。在七个数学、代码和聊天基准上，DARTree在全部四种模型-温度配置中取得最高平均接受长度和加速比，单轮验证最多接受12.97个token，比DFlash高98.6%，比Domino高27.9%，相比本地自回归解码实现最高9.73倍无损加速。

论文 DARTree 推测解码扩散模型

推荐理由：这论文搞了个叫DARTree的采样方法，不用训练就能让模型跑得更快，最多比原来快9倍多，数学和代码任务上都有效。

原文

7月30日

18:14

官方一手marktechpost@Michal Sutter

腾讯开源了AngelSpec，一个基于PyTorch的训练框架，支持6种推测解码架构，包括MTP和块并行方法。该框架引入了DFly块扩散草稿器，采用混合目标条件与隐藏校正自回归头提升生成质量。AngelSpec还集成D-cut机制，实现运行时自适应验证预算分配。在HY3-295B-A21B模型上，TP=8配置下，DFly-8在并发4至64范围内实现1.98至2.40倍的解码速度提升。

AI模型 AngelSpec DFly 腾讯

推荐理由：腾讯刚开源了AngelSpec，一个统一训练推测解码草稿模型的框架。它带的DFly块扩散器能让HY3模型推理快最多2.4倍，还支持六种架构，实用性强。

原文

06:26

官方账号Greg Brockman@gdb

78°

OpenAI 发布了 GPT-5.6 Sol，专门用于提升生产环境的服务效率。部署后，该模型通过自我优化机制进一步降低运行成本。具体改进包括：GPU 内核优化使服务成本降低 20%；推测解码算法改进使 token 生成效率提升超过 15%。

AI模型 GPT-5.6 Sol OpenAI 推理优化

事件专题

推荐理由：OpenAI 搞了个新模型 GPT-5.6 Sol，能自己优化自己，部署后服务成本直接降了20%，生成速度还快了15%，搞推理服务的值得关注。

原文

7月15日

10:38

官方账号vLLM@vllm_project

精选

vLLM项目实现了预填充与解码分离，TileRT通过vLLM V1连接器将自身低延迟解码引擎与vLLM预填充配对，无需修改vLLM代码。原生vLLM解码默认用于吞吐场景，TileRT解码用于延迟敏感场景（如智能体、实时助手）。TileRT在GLM-5.1-FP8（8×B200）上单用户解码达618 tok/s，启用推测解码（MTP）后约为无MTP基线的2倍，峰值接近800 tok/s。

AI模型 vLLM TileRT GLM-5.1-FP8

推荐理由：vLLM拆开预填充和解码，TileRT提供低延迟解码，单用户618 tok/s，适合实时助手。

原文

7月12日

20:30

官方账号vLLM@vllm_project

78°

vLLM v0.25.0 正式发布，包含 558 次提交和 232 位贡献者。Model Runner V2 现已成为所有密集模型的默认执行路径，同时旧版 PagedAttention 实现被移除。Transformers 后端的运行速度已与原生 vLLM 持平。新增统一流解析引擎，以及支持跨异构词汇表的通用推测解码（TLI），并引入 DSpark 和 DFlash 起草器。新模型支持包括 Hy3 和 Unlimited OCR。

AI产品 vLLM Model Runner V2 推测解码

推荐理由：vLLM新版本把Model Runner V2设成了默认，推理更快更稳，还新增了流解析和推测解码，想优化部署性能的话可以关注。

原文

7月7日

02:05

官方账号LMSYS Org (SGLang)@lmsysorg

精选

SGLang现支持DSpark算法，通过置信度驱动的变长验证优化推测解码。与传统验证所有候选token不同，DSpark仅验证高置信度token，在批大小1-256的DeepSeek-V4-Flash上实现最佳吞吐延迟权衡，优于MTP和非推测解码方案。高并发下动态调度相比固定预算带来约20%吞吐提升。使用融合内核和零开销调度后，DeepSeek-V4-Pro在B300上达到383.7 tok/s。

AI模型 SGLang DSpark DeepSeek-V4

事件专题

推荐理由：SGLang加入DSpark后，高并发场景下吞吐能提升20%，在DeepSeek-V4上实测383.7 tok/s，推理优化党可以试试。

原文

6月28日

13:11

官方一手pandaily@contact@pandaily.com (Pandaily)

DeepSeek 发布 DSpark 推测解码框架，可将文本生成速度提升 80%。该框架优化推理效率，标志着 AI 竞争焦点从训练规模转向实际部署。DSpark 采用推测解码技术，通过小模型草稿加速大模型生成。

AI模型 DeepSeek DSpark 推理加速

推荐理由：DeepSeek 的 DSpark 框架让模型生成快八成，推理部署更省算力，搞推理优化的可以看看。

原文

01:07

官方一手marktechpost@Asif Razzaq

79°

DeepSeek开源了DSpark框架，通过将草稿模块附加到现有DeepSeek-V4权重上实现推测解码。它结合并行草稿骨干和轻量级马尔可夫头来减少后缀衰减，并加入基于置信度的调度验证，根据实时GPU负载调整检查token数量。离线测试中，接受长度相比DFlash和Eagle3提升16-31%；生产环境中每个用户生成速度比MTP-1基线提升57-85%，且无损。训练代码DeepSpec以MIT许可证开源。

AI模型 DSpark DeepSeek-V4 DeepSeek

事件专题

推荐理由：DeepSeek搞了个DSpark，让V4推理速度翻倍，开源还无损，适合高并发场景。

原文

6月26日

10:16

官方一手arXiv: DeepSeek@Luxi Lin, Shuang Peng, Rui Ma, Junhao Hua, Shuwei Fan, Zhengda Qin, Qiang Wang, Hongjian Sun, Fangmin Chen, Songwei Liu

HyperDFlash是一种针对DeepSeek-V4多超连接架构的块并行推测解码框架。它通过预折叠残差状态保持多路径结构，并用门控残差缩减器将参数减少三个数量级。同时引入KL蒸馏损失正则化LM-head预测。在数学推理、代码合成和对话基准上，HyperDFlash的平均接受长度和解码加速比均优于原生MTP和DFlash基线。

AI模型 HyperDFlash DeepSeek-V4 MTP

推荐理由：DeepSeek-V4新出的HyperDFlash框架，用门控缩减和蒸馏让推测解码提速，比MTP和DFlash都厉害。

原文

6月17日

01:55

官方一手AWS Machine Learning Blog@Andy Peng

精选

本文介绍如何利用Amazon SageMaker AI中的P-EAGLE方法并行化推测解码，加速生成式AI推理。用户可从SageMaker JumpStart目录中选择兼容模型，并配置并行草稿生成参数。通过部署优化的实时SageMaker AI端点，可显著降低推理延迟。P-EAGLE基于EAGLE框架，支持多头并行推测，适用于Llama等主流模型。

技巧 P-EAGLE Amazon SageMaker AI SageMaker JumpStart

推荐理由：AWS教你用P-EAGLE在SageMaker上把推理加速好几倍，选模型调参数就能部署，简单实用。

原文

6月16日

20:28

官方账号Tri Dao (FlashAttention)@tri_dao

精选

在运行大规模上下文智能体时，Qwen 3.5和Nemotron Ultra等混合模型面临Gated-DeltaNet/Mamba状态的瓶颈。一个简单洞察是加载状态并计算但不存储，可使速度提升2倍。该重计算技巧最终解锁了状态空间模型（SSM）的推测解码（spec decoding）功能。

技巧 Qwen 3.5 Nemotron Ultra Mamba

事件专题

推荐理由：不用存状态，算完就扔，SSM推理直接快一倍，Qwen 3.5和Nemotron Ultra用户试试这个技巧。

原文

02:16

官方账号LMSYS Org (SGLang)@lmsysorg

76°

LMSYS 发布博客介绍 DFlash 和 Spec V2 推测解码技术。在 8 块 B200 上，针对 HumanEval 基准，DFlash + Spec V2 实现超过 4.3 倍基线吞吐量和 1.5 倍原生 MTP 吞吐量。其核心包括块扩散起草器（一次前向传播生成完整 token 块）和 KV 注入（目标模型特征馈入每层 KV 缓存），以及 Spec V2 重叠调度器带来 33% 端到端提升。该方案现已作为 SGLang 的默认推测解码引擎。

AI模型 DFlash Spec V2 SGLang

推荐理由：LMSYS 和 Modal 联手推出了 DFlash，让 Qwen 3.5 的推理速度比原生 MTP 快 1.5 倍，比基线快 4.3 倍，代码已开源，玩起来！

原文

6月12日

09:57

官方账号arXiv cs.LG@Alexander Soen, Hisham Husain, Valentin De Bortoli, Arnaud Doucet

该论文提出了一种针对扩散模型的高效推测采样方案，将大语言模型中的块验证技术适配到连续扩散空间，显著提高了草稿的接受率。现有方法在连续空间中采样残差分布时计算效率低，而新方案通过块验证实现了更高效的并行验证。作者还形式化了 Free Drafter——一种无需训练的启发式自推测草稿生成器。实验表明，Free Drafter 在现有推测方法基础上实现了最高 6.3% 的加速，且几乎无额外开销。这项工作为扩散模型的推理加速提供了新思路，尤其适用于需要快速生成高质量样本的场景。

论文扩散模型推测解码推理加速

推荐理由：扩散模型推理加速有了新解法——块验证让草稿接受率更高，做生成式 AI 推理优化的团队可以直接参考 Free Drafter 的无训练方案，实测有 6.3% 的提速收益。

原文

6月11日

12:02

官方账号arXiv cs.LG@Yucheng Li, Huiqiang Jiang, Yang Xu, Jianxin Yang, Yi Zhang, Yizhong Cao, Yuhao Shen, Fan Zhou, Rui Men, Jianwei Zhang, An Yang, Bowen Yu, Bo Zheng, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou

精选83°

强化学习（RL）训练中，rollout 阶段是主要瓶颈。多 Token 预测（MTP）本可通过推测解码加速，但 RL 训练中 MTP 接受率会因模型熵波动而显著下降。Bebop 研究揭示了熵与接受率的负线性关系，并提出概率拒绝采样可缓解熵干扰。他们进一步提出端到端 TV 损失函数，直接优化拒绝采样接受率，在数学推理、代码生成和智能体任务上实现最高 95% 接受率，吞吐量提升 25%。在 Qwen3.5/3.6/3.7 模型上，异步 RL 训练端到端加速达 1.8 倍，且无需在线更新 MTP。

论文强化学习多 Token 预测推测解码

推荐理由：RL 训练加速是 LLM 后训练的核心痛点，Bebop 用 MTP+拒绝采样把加速做到 1.8 倍，做 RL 训练优化的团队可以直接参考其 TV 损失和离线训练策略。

原文

6月2日

12:00

官方账号arXiv cs.AI@Junxia Cui, Haotian Ye, Runchu Tian, Hongcan Guo, Jinya Jiang, Haoru Li, Chaojie Ren, Yiming Huang, Kaijie Zhu, Zhongkai Yu, Kun Zhou, Jingbo Shang

精选

扩散大语言模型（dLLMs）作为自回归（AR）模型的替代方案，通过并行或块解码实现更快推理，但其掩码语言建模公式与标准token级推测解码不兼容。AR模型利用因果掩码实现单次前向验证多个草稿token，而dLLMs依赖掩码token和双向注意力，导致有效上下文随去噪步骤变化，无法直接进行token级推测验证。为此，研究者提出SimSD，一种简单有效的推测解码算法，采用即插即用的掩码策略，为dLLMs提供时间上有效的token级上下文。该方法显式引入草稿模型的参考token，并设计注意力掩码调节其与当前步骤token的交互，使dLLMs能在单次前向前向计算草稿token的有效logits，恢复AR模型的验证能力同时保持dLLMs的并行解码优势。SimSD无需训练，可灵活集成KV缓存和块解码等加速技术，在四个基准测试中实现高达7.46倍的解码吞吐量提升，同时保持甚至改善平均生成质量。

论文推测解码扩散语言模型推理加速

推荐理由：扩散语言模型终于有了实用的推测解码方案，做模型推理加速的团队可以直接集成SimSD，无需额外训练就能获得数倍吞吐提升，值得关注。

原文

09:39