10:52
官方账号arXiv cs.LG@Cédric Gerbelot, Jean-Christophe Mourrat
推荐理由：这篇论文严格验证了Berthier等人的分层学习时间尺度猜想，对理解深度网络训练动态很有帮助。
奇异摄动
共 1 条相关 AI 资讯
7月14日
10:52
本文研究无限宽两层神经网络联合优化学习错误指定的单指标模型，通过摄动参数调节第一层和第二层的相对训练速度。作者证明常数和线性分量在预测的时间尺度内以精确显式阈值恢复。进一步分析二次分量的学习起始，并表明早期学习的分量持续影响后续动态。证明基于奇异摄动流的定量近似，现象上权重测度在达到二次分量时出现奇异行为。