Event ·Multi-source

dSpark:用调度蒸馏加速扩散语言模型生成

dLLM 虽能并行生成多个 token,但往往需要多轮解码才能完成回复。dSpark 提出调度蒸馏框架,学习哪些 token 应优先揭示,让其余位置更快变得可预测,并用 KL 散度正则保持生成质量。在 GSM8K 上,dSpark 相对各基线在 LLaDA-8B-Instruct 上取得 10.12 倍加速,在 Dream-7B-Instruct 上取得 5.12 倍加速,同时任务表现更优。方法还在数学推理和代码生成任务上做了评估,代码已在 GitHub 开源。

Current read

VILA-Lab 的 dSpark 让 LLaDA-8B 和 Dream-7B 这类扩散语言模型在 GSM8K 上最多快 10 倍,方法论文和代码都放出来了。

3 sources43° AI heatLast updated 2026/10/26 17:35:58

Evidence

3 sources
Primary sourcearXiv cs.LG
View source
Related source 2Noam Brown (OpenAI 推理)
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.