DeltaNet

general · First seen 2026-05-22 · Last seen 2026-11-17 · 52 mentions

Overview

DeltaNet 是一种基于 Delta Rule(增量规则)的线性注意力架构,用递归更新的固定大小矩阵状态替代 Transformer 的 KV 缓存,使序列推理的显存开销与上下文长度基本解耦。围绕它的核心改进是引入门控机制(Gated DeltaNet),让模型能以不同强度擦除和写入记忆,从而在长上下文任务上逼近甚至超越全注意力,同时保持近线性的计算复杂度。近期的动向显示,DeltaNet 正从单一架构演进为一条不断分叉的技术路线。

DeltaNet 的近期进展

  • NVIDIA 发布 Gated DeltaNet-2:线性注意力层解耦擦除与写入:NVIDIA 在 2026 年 5 月 24 日公开的 Gated DeltaNet-2 将原来的单一门控拆分为独立的擦除门与写入门,让状态更新更接近人类记忆的遗忘/巩固分离逻辑,是 DeltaNet 系列近期最受关注的结构升级。
  • Gated DeltaNet在4位量化中保持性能的机制研究:这项工作分析了门控 Delta 状态在低比特量化下仍能维持性能的原因,为 DeltaNet 在端侧部署和低成本推理方面提供了实证依据。
  • 视频生成模型 Video DeltaNet 提升直播视频生成效率:DeltaNet 的思路被迁移到视频生成场景,利用递归状态处理帧间长程依赖,降低直播类流式视频生成的显存与延迟成本,显示其应用边界正在扩散。
  • xLSTM 在子二次架构对比中胜出:代码预训练与时序建模表现最强:独立的对比研究显示,在部分任务上 xLSTM 等竞争架构表现更强,说明 DeltaNet 并非线性注意力阵营的默认赢家,路线之争仍在进行。
  • 当前焦点与观察点

    目前围绕 DeltaNet 的讨论集中在三个方向。其一是状态管理粒度:Gated DeltaNet-2 的擦除/写入门解耦代表了精细化控制状态更新的发展趋势,类似思路也出现在 Kronecker Delta Rule 的 KronLSTM 等新提案中。其二是与 SSM 阵营的竞争:ReplaySSM 选择缓存输入而非状态,Tri Dao 团队则展示重计算技巧可使 SSM 推测解码速度翻倍,两条路线在效率指标上互相逼近。其三是落地验证:4 位量化研究与视频生成应用说明 DeltaNet 正被推向实际部署,而 Qwen 等头部团队在新架构预览中的注意力层选型,将决定这类线性注意力方案能否进入主流大模型。对关注者而言,值得持续跟踪的是长上下文基准上的稳定性,以及工业界对 DeltaNet 类层的采用进度。

    Coverage

    10 on file