精选理由
DeepSeek 的 DSpark 投机解码,能让 Kimi-K2.6 和 K2.7-Code 一次生成整块 token,配合 vLLM 0.25.0 原生支持,解码更快。
Novita Labs 训练并开源了 DSpark 投机解码器,用于 Kimi-K2.6 和 Kimi-K2.7-Code 模型。DSpark 是 DeepSeek 提出的投机解码方法,能一次性生成整个 token 块。vLLM 从 v0.25.0 版本起原生支持 DSpark。使用该解码器可加快 Kimi 系列的推理速度。
原文 · vLLM
🎉 Great to see @novita_labs train and open-source …
🎉 Great to see @novita_labs train and open-source DSpark speculators for Kimi-K2.6 and Kimi-K2.7-Code.
DSpark (@deepseek_ai's spec decoding method) drafts a whole token block in one pass, and vLLM supports it natively (v0.25.0). Grab the speculators and get faster Kimi decoding today. 🚀🚀