Gated DeltaNet

product · First seen 2026-05-23 · Last seen 2026-11-18 · 31 mentions

Overview

Gated DeltaNet(常缩写为 GDN)是一种带门控机制的门控 Delta 规则线性注意力架构,由 NVIDIA 等团队提出并用于 Nemotron 等开源模型,它用固定大小的递归状态替代标准 Transformer 的 KV 缓存,属于当前线性注意力与混合架构路线中的代表性设计之一。它的核心特点是每层只有常数级推理状态,长文本解码成本远低于全注意力,同时在多数语言任务上接近 Transformer 表现,因此近一年被越来越多的开源与工业模型采纳。

Gated DeltaNet 近期进展

围绕 GDN 的研究正在从架构本身向硬件适配和状态管理两端延伸。

  • SLA:为 TPU 重新设计的门控 Delta 线性注意力:该工作说明 GDN 类架构的原始算子主要面向 GPU 优化,在 TPU 上需要重新设计分块与并行方式才能发挥硬件效率,反映出这一架构正在跨硬件平台扩散。
  • 线性注意力模型状态分页上 FPGA:实测仅占解码开销 11.2%:研究者将线性注意力模型的递归状态以分页方式放到 FPGA 上管理,解码开销仅增加约 11.2%,说明固定状态这一特性为专用硬件部署提供了空间。
  • StateBench:四级状态追踪基准揭示 GDN 与 Transformer 能力边界:通过四级状态追踪任务系统对比后,GDN 在需要精确多步状态维护的任务上与全注意力模型仍存在可测量的差距,划定了两者的能力边界。
  • DAMI:双轴记忆初始化提升门控线性注意力的长文本检索:该工作针对门控线性注意力长上下文检索偏弱的共性问题,用双轴记忆初始化改善初始状态质量。
  • 当前焦点与观察点

    目前讨论集中在三条线上。其一是混合化:GDN 等线性注意力层通常与少量全注意力层交替堆叠,以兼顾效率与召回能力,开源模型注意力架构加速转向混合与稀疏设计 即反映了这一趋势——纯粹的 GDN 模型较少,混合配比成为关键设计变量。

    其二是状态管理的系统优化。由于递归状态取代了随长度增长的 KV 缓存,围绕状态 paging、跨硬件(TPU、FPGA)的算子重写成为工程热点,这决定了 GDN 在实际推理服务中的成本优势能否兑现。

    其三是能力边界的量化。StateBench 等基准表明,GDN 在语言建模困惑度上已具竞争力,但在需要精确维护复杂状态、长距离精确检索的任务上仍有短板,这也催生了 DAMI、Muir 等改进工作。对关注者而言,值得持续观察的是:混合架构中全注意力层的保留比例、GDN 在智能体等长程任务中的实测表现,以及状态管理方案在不同硬件上的落地效果。

    Coverage

    10 on file