09:49
官方账号arXiv cs.AI@Guoxuan Xia, Luka Ribar, Paul Balanca
推荐理由：这篇论文把各种无训练松弛推测解码的方法放一起对比，告诉你哪些真有效、哪些有坑，适合搞推理加速的朋友看。
LLM推理加速
共 1 条相关 AI 资讯
7月10日
09:49
推测解码通过辅助模型生成token并由LLM并行验证来加速自回归采样。标准推测解码是无损的，但松弛方法可带来进一步加速或能力权衡。本文统一现有无训练松弛推测解码框架，并在当代LLM设定下进行基准测试。研究发现松弛方法需要全面能力评估，且多数方法依赖良好语言模型作为起草器，不适合轻量级多token预测起草器。