Primary sourcekarminski-牙医 (AI工具)
View sourceEvent ·Single source
腾讯优图发布 Qwen3.8-27B-DSpine-b16 草稿模型,投机解码加速达 3 倍
腾讯优图在 HuggingFace 上发布了 Qwen3.8-27B-DSpine-b16 草稿模型,将投机解码的加速倍数从原先 MTP 方案的约 1.6 倍提升到 3 倍。官方实测吞吐达到 805 tps(8 并发),速度提升幅度是目前公开方案中较高的一档。 从技术细节看,该模型基于 Qwen3.8-27B 适配,草稿模型命名中的 b16 指向 16 层的精简结构。官方虽未公布测试所用硬件,但代码中使用了 FlashAttention 3,说明推理环境大概率是 Hopper 架构的 GPU(如 H100/H20 一类)。 投机解码的草稿模型质量直接决定大模型推理的接受率和加速上限,此前 MTP 类方案普遍停留在 1.6 倍左右。这个 27B 规模的草稿模型若验证可复现,对自建推理服务的团队来说等于免费拿到接近翻倍的吞吐,值得拿自己的业务流量实测对比。
Current read
腾讯优图把投机解码从 1.6 倍卷到了 3 倍,805 tps 的实测数据摆在那。自己搭推理服务、被吞吐成本折磨的工程团队可以直接下下来跑 benchmark,用 Qwen3.8 的话基本是白捡的提速。
2 sources47° AI heatLast updated 2026/11/10 00:03:19
Evidence
2 sourcesRelated source 1Epoch AI
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.