00:03
elvis@omarsar0
elvis@omarsar0精选
推荐理由：线性注意力一直有长程遗忘问题，HOLA用一个小缓存就解决了，在32k长度上效果惊人。
精选
过去 24 小时，从 263 条中筛出 8 条
7月4日
00:03
HOLA论文提出为线性注意力添加海马体互补存储，保留delta-rule状态的压缩记忆并增加一个有限精确KV缓存，形成半参数测试时记忆。在340M参数、15B SlimPajama tokens训练下，WikiText困惑度从27.32降至22.92，低于全注意力Transformer++的26.88。在RULER needle recall测试中，HOLA在32k tokens（16倍训练长度）上保持稳健。
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07
6月1日
00:09
AITOP6月1日 00:09
