#Titans

Proteus给长上下文模型加了个记忆开关，逐步解锁容量，让SWLA、Titans这些模型在长文本上表现更好，越长的上下文提升越明显。

谷歌Titans团队的新方法用记忆缓存把RNN长上下文召回从21提到32，算力还远低于Transformer。

Gary Marcus@GaryMarcus原文

这篇论文发现了一个简单技巧：同等算力下，把更多参数分给前几层、少给后几层，模型效果就能更好，试了多种架构都管用。