ReLU（Rectified Linear Unit）是深度学习中应用最广泛的激活函数之一，其形式为 f(x)=max(0,x)，因能有效缓解梯度消失问题而成为现代神经网络的核心组件。近期多篇 arXiv 论文从理论性质和实际效率等角度对 ReLU 进行了进一步探索。
ReLU 近期进展
鲁棒回归的查询复杂度：2025 年 6 月的一篇论文（arXiv:2606.11130）研究了在查询复杂度近最优的条件下，用 ReLU 实现通用鲁棒回归。结果表明，在特定噪声模型下，ReLU 网络的表达能力可以高效地通过有限查询进行学习，为理论分析提供了新视角。
固定权重 RNN 的逼近能力：另一篇工作（arXiv:2606.20325）证明，固定权重的递归神经网络（RNN）可以逼近 [-1,1] 上的连续函数，其中激活函数选用 ReLU 时，收敛速度与网络深度相关。该研究揭示了 ReLU 在循环结构中的逼近边界。
有限精度下的学习局限性：针对 tanh 激活函数的局限性研究（arXiv:2606.11104）间接对比了 ReLU，指出在低精度计算环境下，ReLU 的线性区域更易受量化误差影响，但相比 tanh 仍保留梯度传播优势。
当前焦点与观察点
ReLU 的“死亡神经元”问题仍是实际部署中的关键挑战——当输入为负时梯度恒为零，导致部分神经元永久失活。当前焦点集中在如何通过变体（如 Leaky ReLU、PReLU）或初始化策略缓解此问题，同时保持计算简单性。此外，近期理论工作（如 arXiv:2606.17816）尝试建立 ReLU 与守恒定律之间的联系，认为其分段线性特性在优化动力学中具有独特作用。总体而言，ReLU 仍是最实用的激活函数，但针对特定任务（如低精度推理、时序建模）的替代方案研究持续活跃。