#ReLU网络

训练好的模型 Hessian 谱总长那样？这篇论文用对称性破缺把聚簇和离群值一次讲清楚，还覆盖 transformer 和 NTK。

这篇论文数学证明了在组合结构任务上，神经正切核比真实神经网络差指数级样本数，实验显示两层网络在稀疏奇偶问题上测试误差低4-6个数量级。