#ForeSpark

做 LLM 推理服务的人可以看看这篇。vLLM 上跑的 ForeSpark 把草稿和验证长度一起调度，吞吐比 DSpark 高 1.77 倍，高负载下草稿浪费的算力能省下来。