Chinese contentD-REAL:用无偏梯度优化投机解码接受长度
投机解码的 drafter 训练一直缺一个对齐接受长度的目标函数,这篇论文把它做成了无偏梯度估计器。在 Qwen3-8B 上十个基准验证,一个 epoch 就有 9.4% 吞吐提升。做推理优化的工程师值得照着复现。
投机解码的 drafter 训练一直缺一个对齐接受长度的目标函数,这篇论文把它做成了无偏梯度估计器。在 Qwen3-8B 上十个基准验证,一个 epoch 就有 9.4% 吞吐提升。做推理优化的工程师值得照着复现。