AITOPAI热报

ReLU

general · First seen 2026-05-22 · Last seen 2026-10-26 · 65 mentions

Overview

ReLU（Rectified Linear Unit，修正线性单元）是深度神经网络中最常用的激活函数，其定义为 max(0, x)，即负值置零、正值保持不变。凭借计算简单、缓解梯度消失等优点，ReLU 及其变体长期占据主流模型激活函数的位置，同时也是理论研究中最常被分析的对象。

ReLU 的近期研究进展

  • arXiv 论文：首个在完全多项式时间内学习 ReLU 正线性组合的算法：在计算学习理论方向，该工作声称给出了首个能在完全多项式时间内学习 ReLU 正线性组合的算法，属于对 ReLU 网络可学习性边界的重要推进。
  • 部分可训练神经网络近似误差出现相变：研究指出当网络仅有部分参数可训练时，近似误差会出现类似相变的现象，为理解 ReLU 网络的表达能力与训练约束之间的张力提供了新视角。
  • BitSparse：面向 ReLU 稀疏激活的无损压缩格式：从系统效率角度出发，BitSparse 利用 ReLU 激活的稀疏特性设计无损压缩格式，服务于推理阶段的内存与带宽优化。
  • 单变量两层 ReLU 分类网络的最小范数解与全局最优性研究：针对两层 ReLU 分类网络，分析了最小范数解何时达到全局最优，是理解过参数化训练动力学的延续性工作。
  • Hessian 特征值聚类之谜：对称性破缺理论给出统一解释：借助对称性破缺理论解释 ReLU 网络损失曲面上 Hessian 特征值聚类的成因，与损失景观几何研究一脉相承。

    • 当前焦点与观察点

    围绕 ReLU 的研究大致呈三条主线。其一是理论可学习性：多项式时间学习算法、最小范数解的全局最优性等结果，试图回答“ReLU 网络在什么条件下可有效学习”这一根本问题。其二是优化几何：Hessian 特征值结构和近似误差相变等研究，关注训练过程中损失曲面的实际形态。其三是工程落地：ReLU 激活天然产生的稀疏性被用于压缩与加速，例如 BitSparse 这类格式。此外，尽管 GELU、SiLU 等平滑激活在大型模型中更常见，ReLU 因其可分析性仍是理论工作的首选载体，相关结论往往能间接指导更一般激活函数的理解。值得观察的是，稀疏激活的硬件友好特性可能让 ReLU 在推理成本敏感的场景中保持一席之地。

    Coverage

    10 on file