12:17arXiv cs.LG@Vivek S Borkar本文利用乘法遍历理论分析深度神经网络中的梯度爆炸与消失现象,特别解释残差连接的作用。通过Furstenberg和Kifer的Lyapunov指数刻画,精确阐述了残差连接对Lyapunov谱的影响。研究为理解残差连接如何缓解梯度问题提供了数学基础。论文梯度爆炸残差连接Lyapunov指数深度神经网络乘法遍历理论推荐理由:这篇论文用数学解释了残差连接为什么能解决梯度问题,适合想做深度学习理论研究的同学。原文