8月18日
10:30
10:30官方账号arXiv cs.LG@Reza Bayat, Ali Behrouz, Vahab Mirrokni, Aaron Courville
Proteus提出增量记忆激活机制,随上下文增长逐步扩展记忆容量。该方法可嵌入SWLA、Comba、Titans、Hope-Attention等模型,无需额外成本。在长上下文检索和理解任务上持续提升,且优势随长度增加而扩大。
推荐理由:Proteus给长上下文模型加了个记忆开关,逐步解锁容量,让SWLA、Titans这些模型在长文本上表现更好,越长的上下文提升越明显。