HOLA：为线性注意力引入海马体互补存储，提升长程召回

HOLA论文提出为线性注意力添加海马体互补存储，保留delta-rule状态的压缩记忆并增加一个有限精确KV缓存，形成半参数测试时记忆。在340M参数、15B SlimPajama tokens训练下，WikiText困惑度从27.32降至22.92，低于全注意力Transformer++的26.88。在RULER needle recall测试中，HOLA在32k tokens（16倍训练长度）上保持稳健。