AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：线性注意力×
6月26日
10:50
10:50arXiv cs.AI@Sayak Dutta
精选
CARVE提出仅擦除关键轴的注意力机制，解决了GDN-2的三个耦合缺陷：记忆盲门控、值轴擦除掩码浪费参数、无法使用WY形式三角形分块求解器。在1.3B参数、100B token训练下，CARVE在WikiText上达到困惑度15.72（比GDN-2低0.18，4.5-sigma效应）。它在9个常识推理基准上领先所有循环基线，并在RULER检索探针上取得SOTA。该方案仅带来0.4%吞吐开销、13%更低峰值内存和19%更少参数。论文还包含六个形式化定理，涵盖记忆容量、Lyapunov稳定性等。
论文CARVEGDN-2线性注意力高效架构WY形式求解器
推荐理由：这篇论文用简单思路修了GDN-2的三个bug，实测1.3B模型困惑度降了0.18，还省内存和参数，想搞高效注意力的话值得看。
原文
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月24日
15:43
5月22日
11:02
11:02arXiv cs.AI@Ali Hatamizadeh, Yejin Choi, Jan Kautz
精选72°
线性注意力模型通过固定大小的循环状态替代软注意力的无限缓存，但如何高效编辑压缩记忆而不打乱已有关联是难点。现有Delta规则模型使用单一标量门控同时控制擦除旧内容和写入新内容，存在耦合限制。Gated DeltaNet-2提出通道级擦除门控b_t和写入门控w_t，将两者解耦，可退化为KDA和Gated DeltaNet。在1.3B参数、100B FineWeb-Edu tokens训练下，该模型在语言建模、常识推理和检索任务上全面超越Mamba-2、Gated DeltaNet、KDA和Mamba-3。尤其在长上下文RULER基准的多键检索设置中优势显著，代码已开源。
论文线性注意力门控机制长上下文开源/仓库推理模型
推荐理由：线性注意力研究者终于有了更精细的门控机制——Gated DeltaNet-2把擦除和写入分开控制，做高效长序列建模的团队可以直接复现并对比效果。
原文