10:50
官方账号arXiv cs.AI@Sayak Dutta
精选
推荐理由：这篇论文用简单思路修了GDN-2的三个bug，实测1.3B模型困惑度降了0.18，还省内存和参数，想搞高效注意力的话值得看。
高效架构
共 1 条相关 AI 资讯
6月26日
10:50
CARVE提出仅擦除关键轴的注意力机制，解决了GDN-2的三个耦合缺陷：记忆盲门控、值轴擦除掩码浪费参数、无法使用WY形式三角形分块求解器。在1.3B参数、100B token训练下，CARVE在WikiText上达到困惑度15.72（比GDN-2低0.18，4.5-sigma效应）。它在9个常识推理基准上领先所有循环基线，并在RULER检索探针上取得SOTA。该方案仅带来0.4%吞吐开销、13%更低峰值内存和19%更少参数。论文还包含六个形式化定理，涵盖记忆容量、Lyapunov稳定性等。