一种新的循环Transformer架构技术报告发布
朋友,这是Yifan Zhang团队提出的一个新架构,叫Recurrent Looped Transformer (RLT),它通过让解码器循环处理每个token来提升效率,和传统模型比,在保持每个token计算成本不变的情况下,深度可以随序列增长,挺有意思的。
朋友,这是Yifan Zhang团队提出的一个新架构,叫Recurrent Looped Transformer (RLT),它通过让解码器循环处理每个token来提升效率,和传统模型比,在保持每个token计算成本不变的情况下,深度可以随序列增长,挺有意思的。