10:50
arXiv cs.AI@Sayak Dutta
精选
推荐理由：这篇论文用简单思路修了GDN-2的三个bug，实测1.3B模型困惑度降了0.18，还省内存和参数，想搞高效注意力的话值得看。
全部 AI 动态
AI 相关资讯全量信息流
6月26日
10:50
CARVE提出仅擦除关键轴的注意力机制，解决了GDN-2的三个耦合缺陷：记忆盲门控、值轴擦除掩码浪费参数、无法使用WY形式三角形分块求解器。在1.3B参数、100B token训练下，CARVE在WikiText上达到困惑度15.72（比GDN-2低0.18，4.5-sigma效应）。它在9个常识推理基准上领先所有循环基线，并在RULER检索探针上取得SOTA。该方案仅带来0.4%吞吐开销、13%更低峰值内存和19%更少参数。论文还包含六个形式化定理，涵盖记忆容量、Lyapunov稳定性等。
6月16日
20:46
AITOP6月16日 20:46
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07
5月22日
11:02
11:02
arXiv cs.AI@Ali Hatamizadeh, Yejin Choi, Jan Kautz
精选72°
推荐理由：线性注意力研究者终于有了更精细的门控机制——Gated DeltaNet-2把擦除和写入分开控制，做高效长序列建模的团队可以直接复现并对比效果。