HOLA 给线性注意力加上海马体记忆，解决长上下文遗忘

HOLA 为线性注意力模型引入一个专用的精确 KV 缓存作为海马体补丁，与原有的压缩状态共同形成半参数化记忆。在 340M 参数、15B SlimPajama tokens 训练下，HOLA 将 Wikitext 困惑度从 27.32 降至 22.92（-16.1%），甚至低于完整注意力 Transformer++（26.88）；LAMBADA 困惑度从 30.95 降至 30.26。在 RULER 的 needle-in-a-haystack 召回任务中，HOLA 在 32k tokens（16 倍训练长度）下仍保持稳健，优于 GDN 和同类缓存方法。