精选理由
SGLang加入DSpark后，高并发场景下吞吐能提升20%，在DeepSeek-V4上实测383.7 tok/s，推理优化党可以试试。
SGLang现支持DSpark算法，通过置信度驱动的变长验证优化推测解码。与传统验证所有候选token不同，DSpark仅验证高置信度token，在批大小1-256的DeepSeek-V4-Flash上实现最佳吞吐延迟权衡，优于MTP和非推测解码方案。高并发下动态调度相比固定预算带来约20%吞吐提升。使用融合内核和零开销调度后，DeepSeek-V4-Pro在B300上达到383.7 tok/s。
AI 翻译 · 中文
SGLang现支持DSpark算法，通过置信度驱动的变长验证优化推测解码。与传统验证所有候选token不同，DSpark仅验证高置信度token，在批大小1-256的DeepSeek-V4-Flash上实现最佳吞吐延迟权衡，优于MTP和非推测解码方案。高并发下动态调度相比固定预算带来约20%吞吐提升。使用融合内核和零开销调度后，DeepSeek-V4-Pro在B300上达到383.7 tok/s。
SGLang now supports DSpark, enabling confidence-driven, variable-length verification for speculative decoding 🎉 DSpark addresses a key bottleneck under load: instead of verifying every draft token, it verifies only wher…