00:03
elvis@omarsar0
elvis@omarsar0精选
推荐理由：线性注意力一直有长程遗忘问题，HOLA用一个小缓存就解决了，在32k长度上效果惊人。
长程召回
共 1 条相关 AI 资讯
7月4日
00:03
HOLA论文提出为线性注意力添加海马体互补存储，保留delta-rule状态的压缩记忆并增加一个有限精确KV缓存，形成半参数测试时记忆。在340M参数、15B SlimPajama tokens训练下，WikiText困惑度从27.32降至22.92，低于全注意力Transformer++的26.88。在RULER needle recall测试中，HOLA在32k tokens（16倍训练长度）上保持稳健。