ReLU网络相关 AI 资讯 · AI 热点

7月8日

10:16

10:16

官方账号arXiv cs.LG@Arkaprabha Ganguli, Emil Constantinescu

论文在单位圆上分析神经网络优于神经正切核（NTK）的条件与幅度，提出傅里叶复杂度和结构复杂度两个度量。刻画深度L、宽度w、权重范数R的ReLU网络类的极小极大率，介于Ω(Lw^2R^2/n)和Õ(L^2w^2R^2/n)之间。当复杂度解耦时，NTK回归在深度-L迭代锯齿波上需要Ω(4^L)样本，而极小极大下界是L的多项式。数值实验表明，在超立方体稀疏奇偶模型上，两层网络比NTK测试误差低4到6个数量级。

论文 Neural Tangent Kernel ReLU网络组合学习样本复杂度极小极大率

推荐理由：这篇论文数学证明了在组合结构任务上，神经正切核比真实神经网络差指数级样本数，实验显示两层网络在稀疏奇偶问题上测试误差低4-6个数量级。

6月9日

12:27

12:27

官方账号arXiv cs.LG@Claudio Nordio

精选

该研究探讨了具有固定读出层和二次损失的前馈ReLU网络，旨在将梯度下降重写为训练集空间上定义的场的集体动力学，而非权重空间的动力学。对于单隐层网络，可以从激活动力学中消除权重变量，得到残差的封闭方程，该方程由输入几何矩阵和动态共激活矩阵分解的集体核控制。对于更深网络，残差动力学保留了清晰的层级核结构，但从三层深度开始，封闭需要一组权重诱导的Gram算子层次结构来跨层传输信息。这项工作为理解深度网络的学习动态提供了新的理论视角。

论文深度学习理论学习动力学 Gram度量 ReLU网络梯度下降

推荐理由：该研究为深度网络学习动力学提供了新的理论框架，做深度学习理论或理解网络内部机制的读者可以直接参考其层级Gram度量方法。