论文精选00:03HOLA:为线性注意力引入海马体互补存储,提升长程召回线性注意力一直有长程遗忘问题,HOLA用一个小缓存就解决了,在32k长度上效果惊人。#HOLA#线性注意力#长程召回#状态空间模型1 个信源在谈事件专题elvis@omarsar02 个信源在谈原文稍后读已读值得跟进有用关注 HOLA
论文精选10:03HOLA 给线性注意力加上海马体记忆,解决长上下文遗忘线性注意力模型容易忘事?HOLA 加了个小型精确缓存,长上下文检索比全注意力还强。#HOLA#线性注意力#海马体#长上下文1 个信源在谈事件专题aarXiv cs.AI@Wanyun Cui2 个信源在谈原文稍后读已读值得跟进有用关注 HOLA