DeepSeek开源了DSpark框架,能让你的V4模型推理提速60%以上,且不影响质量。它解决了投机解码在真实部署中的难题,已经稳定跑在生产环境。
DeepSeek开源了DSpark投机解码框架,用于推理优化。DSpark通过并行backbone加顺序Markov head解决传统投机解码的后缀衰减问题,并引入置信度调度和负载感知调度器。在DeepSeek-V4生产环境中,单用户生成速度比MTP-1基线快60-85%,不同场景吞吐提升1.5x到5x。开源内容包括DeepSeek-V4-Pro-DSpark和DeepSeek-V4-Flash-DSpark模型checkpoint以及MIT协议的DeepSpec训练代码。
兄弟们,DeepSeek开源了DSpark! 一个投机解码框架,不是新模型,是推理优化。 核心问…
兄弟们,DeepSeek开源了DSpark!
一个投机解码框架,不是新模型,是推理优化。
核心问题:传统投机解码里,一个小的draft模型先猜一串token,然后大模型一次性验证。
问题是猜的越后面越容易错,验证错误的猜测也浪费GPU算力。
DSpark的解法:
1. 并行backbone + 顺序head混合。
纯并行猜测速度快,但后面的token会衰减,因为每个位置猜的时候不知道前面实际采样了什么。
DSpark加了一个小的Markov head,用前一个token调整当前猜测,解决了后缀衰减问题。
2. 置信度调度。
加了一个置信度head,估算每个draft token的存活概率。再配合一个负载感知调度器,GPU空闲时多验证几个token,忙碌时少验证。不
是所有猜的token都值得检查,只检查那些可能正确的部分。
效果:在DeepSeek-V4生产环境中,单用户生成速度比MTP-1基线快60-85%。
不同场景下吞吐提升1.5x到5x。
开源内容: - 模型checkpoint:`DeepSeek-V4-Pro-DSpark` 和 `DeepSeek-V4-Flash-DSpark`,复用现有V4权重,附加draft模块 - 训练代码:MIT协议的DeepSpec代码库 - 与北京大学联合开发
为什么重要:投机解码一直被认为"理论好但实战难"。
DSpark证明了在真实生产系统中,投机解码能稳定提速60%以上,而且不影响输出质量。
DeepSeek已经部署在生产环境里了。