10:00
官方账号arXiv cs.AI@Ziyang Cai, Xingyu Zhu, Yihe Dong, Yinghui He, Sanjeev Arora
推荐理由：一种新的Transformer改进：只改中间20%的层加个循环机制，就能让模型推理更持久，而且可以直接改装现有模型不用从头训。
T2MLR
共 1 条相关 AI 资讯
7月17日
10:00
T2MLR是一种基于Transformer的潜在推理架构，将前一token的中间层表示缓存并注入当前token的早期层，使抽象中间计算能跨解码步骤持续。在自然语言预训练和多跳推理微调中，T2MLR始终优于同等数据和参数的Transformer基线。仅对20%的网络应用中层循环就能超过全层循环。改装1.7B预训练Transformer并微调后，数学推理性能显著提升。