精选理由
这篇论文把各种无训练松弛推测解码的方法放一起对比，告诉你哪些真有效、哪些有坑，适合搞推理加速的朋友看。
推测解码通过辅助模型生成token并由LLM并行验证来加速自回归采样。标准推测解码是无损的，但松弛方法可带来进一步加速或能力权衡。本文统一现有无训练松弛推测解码框架，并在当代LLM设定下进行基准测试。研究发现松弛方法需要全面能力评估，且多数方法依赖良好语言模型作为起草器，不适合轻量级多token预测起草器。
AI 翻译 · 中文
推测解码通过辅助模型生成token并由LLM并行验证来加速自回归采样。标准推测解码是无损的，但松弛方法可带来进一步加速或能力权衡。本文统一现有无训练松弛推测解码框架，并在当代LLM设定下进行基准测试。研究发现松弛方法需要全面能力评估，且多数方法依赖良好语言模型作为起草器，不适合轻量级多token预测起草器。
Speculative decoding accelerates sampling from an autoregressive LLM by using a faster auxiliary model to draft tokens which are then verified in parallel by the LLM. Standard speculative decoding is lossless: its reject…