10:16
官方账号arXiv cs.LG@Arkaprabha Ganguli, Emil Constantinescu
推荐理由：这篇论文数学证明了在组合结构任务上，神经正切核比真实神经网络差指数级样本数，实验显示两层网络在稀疏奇偶问题上测试误差低4-6个数量级。
Neural Tangent Kernel
共 1 条相关 AI 资讯
7月8日
10:16
论文在单位圆上分析神经网络优于神经正切核（NTK）的条件与幅度，提出傅里叶复杂度和结构复杂度两个度量。刻画深度L、宽度w、权重范数R的ReLU网络类的极小极大率，介于Ω(Lw^2R^2/n)和Õ(L^2w^2R^2/n)之间。当复杂度解耦时，NTK回归在深度-L迭代锯齿波上需要Ω(4^L)样本，而极小极大下界是L的多项式。数值实验表明，在超立方体稀疏奇偶模型上，两层网络比NTK测试误差低4到6个数量级。