精选理由
DeepSeek-V4搞了个新框架DSpark，把生成和验证分开调度，用户实际体验加速60%到85%，还不会拖慢系统吞吐。
DSpark是一种新型投机解码框架，通过半自回归架构（并行骨干网络+轻量级顺序模块）保持草稿质量，缓解后缀衰减。它采用置信度调度验证，根据前缀存活概率和引擎吞吐量动态调整每轮验证长度。在离线多领域基准测试中，DSpark的接受长度显著优于现有自回归和平行草稿器。在DeepSeek-V4服务系统的真实用户流量下，相比生产基线MTP-1，DSpark在维持吞吐量不变时单用户生成速度提升60%至85%。DSpark还通过防止高并发下吞吐量严重退化，使服务系统达到了此前无法实现的性能层级。
AI 翻译 · 中文
DSpark是一种新型投机解码框架，通过半自回归架构（并行骨干网络+轻量级顺序模块）保持草稿质量，缓解后缀衰减。它采用置信度调度验证，根据前缀存活概率和引擎吞吐量动态调整每轮验证长度。在离线多领域基准测试中，DSpark的接受长度显著优于现有自回归和平行草稿器。在DeepSeek-V4服务系统的真实用户流量下，相比生产基线MTP-1，DSpark在维持吞吐量不变时单用户生成速度提升60%至85%。DSpark还通过防止高并发下吞吐量严重退化，使服务系统达到了此前无法实现的性能层级。
Speculative decoding accelerates Large Language Model (LLM) inference by decoupling draft generation from target verification. While recent parallel drafters efficiently propose long token sequences in a single forward p…