№deltanet·general
DeltaNet
别名
- 首次出现
- 2026-05-22
- 最近出现
- 2026-06-11
- 累计提及
- 6
§ 01综述
DeltaNet 是一类基于 Delta 规则的线性注意力模型，近期获得了显著进展。其核心思想是通过门控机制近似标准注意力的更新规则，从而在保持线性复杂度的同时提升长序列建模能力。
xLSTM 对比评测：在一项对子二次架构的全面基准测试中，xLSTM 在代码预训练和时序建模任务上表现最强，而 DeltaNet 作为对比方法之一，其性能在多个任务上被详细评估。xLSTM 在子二次架构对比中胜出：代码预训练与时序建模表现最强
NVIDIA 发布 Gated DeltaNet-2：NVIDIA 推出了 Gated DeltaNet-2，该模型通过解耦擦除与写入操作改进了 Delta 规则，在语言建模和长上下文任务上取得了与 Mamba-2 等模型竞争的结果。NVIDIA 发布 Gated DeltaNet-2：线性注意力层解耦擦除与写入
Gated DeltaNet-2 论文详细说明：该变体引入显式的“擦除门”和“写入门”，使得模型可以更灵活地控制信息更新，实验表明其在多个基准上优于原始 DeltaNet 和部分 Transformer 变体。Gated DeltaNet-2：解耦线性注意力中的擦除与写入门控
当前焦点在于 DeltaNet 能否在效率与性能之间取得更好平衡，尤其相对于状态空间模型。未来值得观察的关键点包括：DeltaNet 在更大规模预训练任务上的表现、门控机制的可解释性，以及其能否在部署效率上超越现有线性注意力架构。