线性注意力相关 AI 资讯 · AI 热点

7月4日

00:03

00:03

elvis@omarsar0

精选

HOLA论文提出为线性注意力添加海马体互补存储，保留delta-rule状态的压缩记忆并增加一个有限精确KV缓存，形成半参数测试时记忆。在340M参数、15B SlimPajama tokens训练下，WikiText困惑度从27.32降至22.92，低于全注意力Transformer++的26.88。在RULER needle recall测试中，HOLA在32k tokens（16倍训练长度）上保持稳健。

论文 HOLA 线性注意力长程召回状态空间模型

推荐理由：线性注意力一直有长程遗忘问题，HOLA用一个小缓存就解决了，在32k长度上效果惊人。

7月3日

10:03

10:03

官方账号arXiv cs.AI@Wanyun Cui

精选

HOLA 为线性注意力模型引入一个专用的精确 KV 缓存作为海马体补丁，与原有的压缩状态共同形成半参数化记忆。在 340M 参数、15B SlimPajama tokens 训练下，HOLA 将 Wikitext 困惑度从 27.32 降至 22.92（-16.1%），甚至低于完整注意力 Transformer++（26.88）；LAMBADA 困惑度从 30.95 降至 30.26。在 RULER 的 needle-in-a-haystack 召回任务中，HOLA 在 32k tokens（16 倍训练长度）下仍保持稳健，优于 GDN 和同类缓存方法。

论文 HOLA 线性注意力海马体长上下文

推荐理由：线性注意力模型容易忘事？HOLA 加了个小型精确缓存，长上下文检索比全注意力还强。

6月26日

10:50

10:50

官方账号arXiv cs.AI@Sayak Dutta

精选

CARVE提出仅擦除关键轴的注意力机制，解决了GDN-2的三个耦合缺陷：记忆盲门控、值轴擦除掩码浪费参数、无法使用WY形式三角形分块求解器。在1.3B参数、100B token训练下，CARVE在WikiText上达到困惑度15.72（比GDN-2低0.18，4.5-sigma效应）。它在9个常识推理基准上领先所有循环基线，并在RULER检索探针上取得SOTA。该方案仅带来0.4%吞吐开销、13%更低峰值内存和19%更少参数。论文还包含六个形式化定理，涵盖记忆容量、Lyapunov稳定性等。

论文 CARVE GDN-2 线性注意力高效架构 WY形式求解器

推荐理由：这篇论文用简单思路修了GDN-2的三个bug，实测1.3B模型困惑度降了0.18，还省内存和参数，想搞高效注意力的话值得看。

5月24日

15:43

15:43

官方一手marktechpost@Asif Razzaq

精选70°

NVIDIA 发布 Gated DeltaNet-2，一种线性注意力层，将 Delta 规则中的擦除和写入操作解耦为通道级擦除门 b_t 和写入门 w_t。在 1.3B 参数、100B FineWeb-Edu 令牌训练下，它在语言建模、常识推理和长上下文检索任务上超越 Mamba-2、Gated DeltaNet、KDA 和 Mamba-3。最大提升出现在 RULER S-NIAH 和多键针检索基准上。

AI模型大模型推理模型 Mamba NVIDIA 线性注意力

推荐理由：NVIDIA 新线性注意力，解耦擦写门

5月22日

11:02

11:02

官方账号arXiv cs.AI@Ali Hatamizadeh, Yejin Choi, Jan Kautz

精选72°

线性注意力模型通过固定大小的循环状态替代软注意力的无限缓存，但如何高效编辑压缩记忆而不打乱已有关联是难点。现有Delta规则模型使用单一标量门控同时控制擦除旧内容和写入新内容，存在耦合限制。Gated DeltaNet-2提出通道级擦除门控b_t和写入门控w_t，将两者解耦，可退化为KDA和Gated DeltaNet。在1.3B参数、100B FineWeb-Edu tokens训练下，该模型在语言建模、常识推理和检索任务上全面超越Mamba-2、Gated DeltaNet、KDA和Mamba-3。尤其在长上下文RULER基准的多键检索设置中优势显著，代码已开源。

论文线性注意力门控机制长上下文开源/仓库推理模型

推荐理由：线性注意力研究者终于有了更精细的门控机制——Gated DeltaNet-2把擦除和写入分开控制，做高效长序列建模的团队可以直接复现并对比效果。