10:03
官方账号arXiv cs.AI@Wanyun Cui
精选
推荐理由：线性注意力模型容易忘事？HOLA 加了个小型精确缓存，长上下文检索比全注意力还强。
海马体
共 1 条相关 AI 资讯
7月3日
10:03
HOLA 为线性注意力模型引入一个专用的精确 KV 缓存作为海马体补丁，与原有的压缩状态共同形成半参数化记忆。在 340M 参数、15B SlimPajama tokens 训练下，HOLA 将 Wikitext 困惑度从 27.32 降至 22.92（-16.1%），甚至低于完整注意力 Transformer++（26.88）；LAMBADA 困惑度从 30.95 降至 30.26。在 RULER 的 needle-in-a-haystack 召回任务中，HOLA 在 32k tokens（16 倍训练长度）下仍保持稳健，优于 GDN 和同类缓存方法。