12:37
Gary Marcus@GaryMarcus
Gary Marcus@GaryMarcus78°
推荐理由：谷歌Titans团队的新方法用记忆缓存把RNN长上下文召回从21提到32，算力还远低于Transformer。
记忆缓存
共 1 条相关 AI 资讯
8月4日
12:37
谷歌Titans团队提出记忆缓存方法，将RNN与Transformer统一为同一框架下的两种设置。该方法通过保存记忆检查点，使RNN的有效记忆随输入长度增长，计算复杂度为O(NL)，介于RNN的O(L)和Transformer的O(L²)之间。在16k针堆测试中，Titans模型的召回得分从21提升至32。该方法可后训练接入，让模型处理超出训练长度的上下文。纯Transformer在原始召回精度上仍占优，但记忆缓存在极低算力下大幅缩小了这一差距。