#循环Transformer

共 6 条 · 7 天 0 条 · 30 天 2 条

信息流里打上「循环Transformer」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月29日

清华团队提出 TaH2，让循环 Transformer 只对需要的 token 多迭代，AIME 上同等算力多拿 3.4 分，代码已开源。

arXiv cs.LG@Yichen You 等 7 人原文

9月14日

朋友，这是Yifan Zhang团队提出的一个新架构，叫Recurrent Looped Transformer (RLT)，它通过让解码器循环处理每个token来提升效率，和传统模型比，在保持每个token计算成本不变的情况下，深度可以随序列增长，挺有意思的。

elvis@omarsar0原文

9月9日

模型中美对照官方一手精选19:21

OpenAI的GPT-6 Astra用循环Transformer改进了推理能力，比标准Transformer更高效。

官方一手Sebastian Raschka: Ahead of AI@Sebastian Raschka, PhD11 个信源在谈原文

9月6日

模型中美对照多源确认00:31

GPT-6用的新架构，阿里两年前就发过论文了，看看国内大厂的技术前瞻性。

量子位@一水11 个信源在谈原文

5月25日

论文精选11:24

这项研究让使用冻结模型的团队无需重新训练就能提升推理性能，做模型部署或推理优化的开发者值得关注，可以直接在现有模型上尝试。

arXiv cs.LG@Lizhang Chen 等 5 人原文

5月13日

论文精选70°19:12

循环Transformer训练难、部署贵的问题被Attractor Models用不动点求解优雅解决，做语言模型预训练或推理增强的团队值得关注——它用更少参数和成本实现了对更大模型的超越。

arXiv cs.AI@Jacob Fein-Ashley, Paria Rashidinejad原文