HOLA 相关 AI 资讯 · AI 热点

7月4日

00:03

00:03

elvis@omarsar0

精选

HOLA论文提出为线性注意力添加海马体互补存储，保留delta-rule状态的压缩记忆并增加一个有限精确KV缓存，形成半参数测试时记忆。在340M参数、15B SlimPajama tokens训练下，WikiText困惑度从27.32降至22.92，低于全注意力Transformer++的26.88。在RULER needle recall测试中，HOLA在32k tokens（16倍训练长度）上保持稳健。

论文 HOLA 线性注意力长程召回状态空间模型

推荐理由：线性注意力一直有长程遗忘问题，HOLA用一个小缓存就解决了，在32k长度上效果惊人。

7月3日

10:03

10:03

官方账号arXiv cs.AI@Wanyun Cui

精选

HOLA 为线性注意力模型引入一个专用的精确 KV 缓存作为海马体补丁，与原有的压缩状态共同形成半参数化记忆。在 340M 参数、15B SlimPajama tokens 训练下，HOLA 将 Wikitext 困惑度从 27.32 降至 22.92（-16.1%），甚至低于完整注意力 Transformer++（26.88）；LAMBADA 困惑度从 30.95 降至 30.26。在 RULER 的 needle-in-a-haystack 召回任务中，HOLA 在 32k tokens（16 倍训练长度）下仍保持稳健，优于 GDN 和同类缓存方法。

论文 HOLA 线性注意力海马体长上下文

推荐理由：线性注意力模型容易忘事？HOLA 加了个小型精确缓存，长上下文检索比全注意力还强。