Chinese contentLoopFill:面向 Looped Transformer 的免训练流水线多 token 推测解码
搞推理优化的可以看看这篇:LoopFill 把两种草稿器合到一棵树里,免训练就在 Ouro-2.6B 上跑到 5.85 倍加速,比 LoopAhead 快 25%-40%。做 Looped 模型部署或推测解码研究的都该读读原文。
搞推理优化的可以看看这篇:LoopFill 把两种草稿器合到一棵树里,免训练就在 Ouro-2.6B 上跑到 5.85 倍加速,比 LoopAhead 快 25%-40%。做 Looped 模型部署或推测解码研究的都该读读原文。