Gated DeltaNet(常缩写为 GDN)是一种带门控机制的门控 Delta 规则线性注意力架构,由 NVIDIA 等团队提出并用于 Nemotron 等开源模型,它用固定大小的递归状态替代标准 Transformer 的 KV 缓存,属于当前线性注意力与混合架构路线中的代表性设计之一。它的核心特点是每层只有常数级推理状态,长文本解码成本远低于全注意力,同时在多数语言任务上接近 Transformer 表现,因此近一年被越来越多的开源与工业模型采纳。
Gated DeltaNet 近期进展
围绕 GDN 的研究正在从架构本身向硬件适配和状态管理两端延伸。
当前焦点与观察点
目前讨论集中在三条线上。其一是混合化:GDN 等线性注意力层通常与少量全注意力层交替堆叠,以兼顾效率与召回能力,开源模型注意力架构加速转向混合与稀疏设计 即反映了这一趋势——纯粹的 GDN 模型较少,混合配比成为关键设计变量。
其二是状态管理的系统优化。由于递归状态取代了随长度增长的 KV 缓存,围绕状态 paging、跨硬件(TPU、FPGA)的算子重写成为工程热点,这决定了 GDN 在实际推理服务中的成本优势能否兑现。
其三是能力边界的量化。StateBench 等基准表明,GDN 在语言建模困惑度上已具竞争力,但在需要精确维护复杂状态、长距离精确检索的任务上仍有短板,这也催生了 DAMI、Muir 等改进工作。对关注者而言,值得持续观察的是:混合架构中全注意力层的保留比例、GDN 在智能体等长程任务中的实测表现,以及状态管理方案在不同硬件上的落地效果。