11:28
官方一手arXiv: Google DeepMind@Joshua Nunley
推荐理由：TANGO模型在自然和形式语言建模中表现出色，计算效率高，值得关注。与WANGO相比，在序列长度线性复杂度下表现更优。
自然语言建模
共 1 条相关 AI 资讯
8月25日
11:28
TANGO模型通过跨token门控残差更新替代了传统的Transformer块，在FineWeb-Edu、Lean和DeepMind Mathematics等基准测试中表现出色，与WANGO模型相比，在序列长度线性复杂度下计算效率更高。TANGO和WANGO均优于Recurrent和Untied Transformer++、full-attention GAU和FLASH模型。