#投机解码

共 19 条 · 7 天 3 条 · 30 天 3 条

推理加速 4 推理优化 2 量化 2 AI Engineer New York 1 AI安全 1 ASD 1 Baseten 1 Cohere 1

信息流里打上「投机解码」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月8日

论文 Agent 与开发者精选11:05

论文提出 EDR 目标函数优化并行投机解码草稿模型训练

一篇加速 LLM 推理的论文，把投机解码建模成马尔可夫过程，微调 DSpark 和 DFly 后在九个基准上超过原有训练方法。

#投机解码 #DSpark #DFly #推理加速

arXiv cs.AI@Yunxiao Zhao, Changxiao Cai原文

10月7日

论文 Agent 与开发者10:02

SecureSD：针对投机解码安全风险的防护方法

用小模型加速大模型推理的投机解码原来有安全漏洞，这篇论文定位到问题出在前几个 token，SecureSD 只需对早期 token 加严验证就能补上，做推理部署的可以看看。

#投机解码 #SecureSD #LLM推理 #AI安全

arXiv cs.LG@Yichi Zhang 等 4 人原文

10月6日

行业 Agent 与开发者09:04

MiniMax 工程师解析量化与投机解码对生产推理的影响

MiniMax 的工程师要拆解量化、投机解码这些加速手段在生产里的隐藏代价，做推理部署的可以去听听 10 月 14 日这场。

#MiniMax #量化 #投机解码 #推理优化

AI Engineer@aiDotEngineer原文

8月12日

AINews：如何窃取推理轨迹

想知道怎么从推理模型里偷思维链？这篇讲透了投机解码的另类用法，安全研究者必看。

#投机解码 #推理轨迹 #模型安全 #蒸馏

官方账号Latent Space (swyx)原文

8月11日

论文精选11:16

Matryoshka语言模型套件：嵌套训练省36%算力

想省训练算力又不想掉性能？这个嵌套训练法把三个模型塞一个架构里，直接省36%算力，还顺带加速推理，值得一看。

#Matryoshka #语言模型 #训练效率 #投机解码

arXiv cs.AI@Nathan Godey, Yoav Artzi原文

8月6日

论文精选10:02

SpecRoll：投机式 RL rollout 的快慢验证器反馈自适应

RL 训练嫌生成太慢？SpecRoll 用投机解码给 rollout 提速，不改采样分布，五个模型跑数学推理端到端快 1.2 倍以上，代码也开源了。

#SpecRoll #GRPO #投机解码 #强化学习

arXiv cs.LG@Nhat Minh Pham 等 5 人原文

8月5日

论文多源确认10:06

近似投机解码ASD：免训练加速自回归生成

这篇论文搞了个叫ASD的投机解码改进，不用重新训练就能提速，实测吞吐最高涨15%，代码也开源了，跑推理的可以看看。

#ASD #投机解码 #Qwen3-14B #DeepSeek-V4-Flash

arXiv: DeepSeek@Yuannuo Feng 等 8 人8 个信源在谈原文

8月4日

技巧 Agent 与开发者精选06:38

推理工程大师课：量化、投机解码与GLM-5.2自优化

Baseten工程师讲推理优化，量化误差能抵消，GLM-5.2自己优化自己，还有20-200%提速空间。

#GLM-5.2 #Baseten #推理优化 #量化

Latent.Space@latentspacepod原文

7月24日

论文中美对照11:54

Windowed-MTP：消除百万token上下文中的全上下文草稿KV负担

这篇论文解决了长上下文下投机解码的瓶颈，用滑动窗口草稿省掉99%的KV读取，实测速度提升近三成，而且不损失精度。搞大模型推理优化的值得看。

#Windowed-MTP #投机解码 #KV缓存 #Qwen

arXiv cs.LG@Alagappan Valliappan原文

7月15日

论文精选09:46

EcoSpec：成本感知的MoE模型投机解码加速方法

这篇论文提出EcoSpec，在DeepSeek-V3.1等MoE模型上通过成本感知投机解码最高提速1.62倍，值得关注。

#EcoSpec #MoE #投机解码 #推理加速

arXiv: DeepSeek@Jincheng Xie 等 7 人原文

7月12日

模型中美对照精选72°20:29

Cohere 硬件感知动态投机解码合并入 vLLM

vLLM 合并了 Cohere 的动态投机解码，能根据硬件和批次大小自适应，想提升推理速度的可以试试。

#Cohere #vLLM #Dynamic SD #推理加速

官方账号vLLM@vllm_project原文

7月7日

模型76°11:49

DSpark: 置信度调度投机解码与半自回归生成

DeepSeek-V4搞了个新框架DSpark，把生成和验证分开调度，用户实际体验加速60%到85%，还不会拖慢系统吞吐。

#DSpark #DeepSeek-V4 #投机解码 #推理加速

arXiv: DeepSeek@Xin Cheng 等 33 人原文

7月2日

模型中美对照多源确认精选20:30

DeepSeek DSpark 投机解码原生集成 vLLM，性能提升显著

DeepSeek 把 DSpark 开源自带进 vLLM，跑 DeepSeek-V4 实测单卡 250 token/s，比 MTP 快 12-42%，想搞投机解码的可以试试。

#DeepSeek #vLLM #DSpark #投机解码

官方账号vLLM@vllm_project9 个信源在谈原文

6月29日

模型中美对照精选73°00:21

DeepSeek开源DSpark投机解码框架，推理提速60-85%

DeepSeek开源了DSpark框架，能让你的V4模型推理提速60%以上，且不影响质量。它解决了投机解码在真实部署中的难题，已经稳定跑在生产环境。

#DeepSeek #DSpark #DeepSeek-V4 #投机解码

berryxia@berryxia原文

6月24日

模型中美对照官方一手76°15:30

DFlash投机解码：并行起草整块token，在Blackwell上吞吐量提升15倍

UC San Diego搞了个新方法DFlash，用扩散模型直接生成整段token，比自回归快几倍，Qwen3-8B上6倍加速，Blackwell上15倍，还开源了检查点，搞推理加速的可以看看。

#DFlash #Qwen3-8B #NVIDIA Blackwell #投机解码

官方一手marktechpost@Asif Razzaq9 个信源在谈原文

模型多源确认精选03:18

DFlash开源块扩散模型，推理吞吐量提升15倍

NVIDIA开源了DFlash，用块扩散投机解码让Blackwell推理提速15倍，还支持SGLang和vLLM，随手就能用。

#DFlash #NVIDIA #Blackwell #投机解码

官方账号NVIDIA AI@NVIDIAAI9 个信源在谈原文

6月23日

模型 Agent 与开发者精选12:04

RLM-Cascade: 响应级投机解码代理层系统降低LLM API成本45.8%

这个系统把DeepSeek和Opus组合起来，用投机解码省了近一半API成本，还快了一倍，质量也有提升，而且开源可部署。

#RLM-Cascade #DeepSeek #Opus #投机解码

arXiv: DeepSeek@Haifeng Wu 等 5 人原文

5月20日

论文精选11:31

Graft：剪枝+检索补偿，突破投机解码效率瓶颈

做推理加速的团队终于有了一个不牺牲接受率的剪枝方案——Graft用检索补偿剪枝损失，直接提升EAGLE-3 21.8%的加速比，搞LLM部署的值得试试。

#投机解码 #推理加速 #剪枝 #检索补偿

arXiv cs.LG@Yuhao Shen 等 12 人原文

5月14日

模型中美对照16:33

Qwen3.6 MTP GGUF 发布：27B 模型单 GPU 达 140 tokens/s

本地大模型性能天花板被再次抬高，玩 llama.cpp、跑本地 Agent 或日常 coding 的开发者可以直接用上，体验 30B+ 模型在消费级显卡上的流畅速度。

#Qwen3.6 #GGUF #投机解码 #本地推理

berryxia@berryxia原文