Chinese contentLoopAhead：面向 Looped Transformer 的推测解码框架，加速最高 7.82 倍
用循环层的早期状态提前起草 token，解码最高快 7.82 倍，输出分布不变，研究解码优化的可以看看
#LoopAhead
1 stories · 0 in 7 days · 1 in 30 days
Stories, products and papers tagged "LoopAhead", newest first.
Oct 16
用循环层的早期状态提前起草 token，解码最高快 7.82 倍，输出分布不变，研究解码优化的可以看看