Activation(激活)是神经网络中的核心概念,指输入经过非线性函数(如 ReLU、GELU)后在层内产生的中间数值,决定了模型“哪些特征被点亮”。在深度学习训练、模型合并、激活转向(activation steering)与可解释性研究中,激活既是优化对象,也是分析语言模型内部机制的关键观测点。近期围绕激活的研究热度集中在转向方法的精度与副作用、上下文学习的电路机制、以及架构搜索中的激活门控设计。
Activation 近期进展
当前焦点与观察点
目前围绕 activation 的讨论呈两条主线。其一是激活转向的工程化:从静态方向向量走向按输入检索目标状态(arXiv 2611.04757),同时 SteerCheck 等审计工作开始要求方法证明其特异性、避免对齐泄漏,说明社区正从“能不能转向”转向“转向是否可控、可审计”。其二是激活作为解释性研究的基本单位:上下文学习电路、模型合并对涌现能力的影响(arXiv 2609.24504 显示合并可保留但无法创造涌现能力,且更快稀释)、以及 Activation-Conditioned Self-Distillation(arXiv 2609.38342)等工作,都把激活状态当作连接行为与机制的中介。
工程侧同样在关注激活:紧凑神经架构搜索引入 Neuron Gating 与 Mixed Activation 来压缩模型(arXiv 2608.14443),PyTorch 维护者也分享了在大训练前用单卡 GPU 能验证哪些训练假设。值得观察的是,语篇层面副作用与对齐泄漏的发现是否会推动转向方法建立统一评估基准;以及随着自蒸馏与合并研究深入,激活层面的“保留与稀释”规律能否成为模型能力管理的实用工具。