Gated

general · First seen 2026-05-22 · Last seen 2026-11-17 · 128 mentions

Overview

Gated(门控机制)是深度学习中一种通过可学习的门控单元控制信息流动的架构设计,广泛存在于 LSTM、状态空间模型和门控线性注意力(GLA)等序列建模结构中。近年来,随着线性注意力和 SSM 类架构挑战 Transformer 主导地位,Gated 相关研究重新活跃,成为提升模型记忆、效率与量化鲁棒性的关键技术路径之一。

Gated 架构的近期研究进展

门控线性注意力方向的改进尤为集中。MS-GLA 提出多时间分辨率的门控线性注意力设计,用以缓解 GLA 架构存在的表征瓶颈问题(MS-GLA:多时间分辨率门控线性注意力,缓解 GLA 表征瓶颈)。NX-AI 则将门控思想引入 Kronecker Delta Rule,提出 KronLSTM 线性注意力架构,延续了其在 DeltaNet 系列上的探索(NX-AI 提出基于 Kronecker Delta Rule 的 KronLSTM 线性注意力架构)。

在工程部署层面,Gated 架构的实用性也得到验证。一项针对 Gated DeltaNet 的机制研究分析了其在 4 位量化下仍能保持性能的原因,为低比特部署提供了理论依据(Gated DeltaNet在4位量化中保持性能的机制研究)。

门控机制的延伸应用

门控思想也正在向其他方向扩散。GaTaP 通过门控目标传播解决持续学习中的组合泛化问题,而 TokenGate 则把可学习的门控用于 token 剪枝,使长上下文预填充更快且更省显存(TokenGate:可学习的 token 剪枝让长上下文预填充更快更省显存)。ReplaySSM 选择缓存 SSM 输入而非状态,从另一角度处理序列模型的长程信息保留。

当前焦点与观察点

综合来看,Gated 研究当前的焦点集中在三点:一是用多尺度或新规则改进门控线性注意力的表达能力,试图补齐与全注意力在召回类任务上的差距;二是验证此类架构在量化、剪枝等部署场景中的稳健性;三是把门控机制作为通用工具迁移到持续学习与效率优化中。值得关注的是,门控线性注意力是否能在大规模商用模型中替代标准注意力,仍需更多实证;同时 token 级门控带来的动态计算虽能降低成本,但也引入了训练稳定性与公平性的新问题。对从业者和研究者而言,跟踪 DeltaNet/GLA 系列论文和开源实现,是理解这一方向演进效率最高的方式。

Coverage

10 on file