DeltaNet 是一种基于 Delta Rule(增量规则)的线性注意力架构,用递归更新的固定大小矩阵状态替代 Transformer 的 KV 缓存,使序列推理的显存开销与上下文长度基本解耦。围绕它的核心改进是引入门控机制(Gated DeltaNet),让模型能以不同强度擦除和写入记忆,从而在长上下文任务上逼近甚至超越全注意力,同时保持近线性的计算复杂度。近期的动向显示,DeltaNet 正从单一架构演进为一条不断分叉的技术路线。
DeltaNet 的近期进展
当前焦点与观察点
目前围绕 DeltaNet 的讨论集中在三个方向。其一是状态管理粒度:Gated DeltaNet-2 的擦除/写入门解耦代表了精细化控制状态更新的发展趋势,类似思路也出现在 Kronecker Delta Rule 的 KronLSTM 等新提案中。其二是与 SSM 阵营的竞争:ReplaySSM 选择缓存输入而非状态,Tri Dao 团队则展示重计算技巧可使 SSM 推测解码速度翻倍,两条路线在效率指标上互相逼近。其三是落地验证:4 位量化研究与视频生成应用说明 DeltaNet 正被推向实际部署,而 Qwen 等头部团队在新架构预览中的注意力层选型,将决定这类线性注意力方案能否进入主流大模型。对关注者而言,值得持续跟踪的是长上下文基准上的稳定性,以及工业界对 DeltaNet 类层的采用进度。