AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：梯度下降×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月9日
12:27
12:27arXiv cs.LG@Claudio Nordio
精选
该研究探讨了具有固定读出层和二次损失的前馈ReLU网络，旨在将梯度下降重写为训练集空间上定义的场的集体动力学，而非权重空间的动力学。对于单隐层网络，可以从激活动力学中消除权重变量，得到残差的封闭方程，该方程由输入几何矩阵和动态共激活矩阵分解的集体核控制。对于更深网络，残差动力学保留了清晰的层级核结构，但从三层深度开始，封闭需要一组权重诱导的Gram算子层次结构来跨层传输信息。这项工作为理解深度网络的学习动态提供了新的理论视角。
论文深度学习理论学习动力学Gram度量ReLU网络梯度下降
推荐理由：该研究为深度网络学习动力学提供了新的理论框架，做深度学习理论或理解网络内部机制的读者可以直接参考其层级Gram度量方法。
原文
6月3日
10:39
10:39arXiv cs.LG@Carlo Wenig, Raoul-Martin Memmesheimer, Christian Klos
脉冲神经网络（SNN）训练中广泛使用的LIF神经元存在参数微小变化导致脉冲消失/出现、损失景观碎片化的问题。最新研究发现，二次整合-发放（QIF）神经元能避免这些不连续性，实现连续平滑的梯度下降。在Spiking Heidelberg Digits数据集上，QIF网络通过超参数搜索后性能显著优于LIF网络。可视化显示LIF的损失景观更碎片化、梯度更不稳定，而QIF则更平滑。研究建议用QIF等连续脉冲动力学模型替代LIF进行梯度下降训练。
论文脉冲神经网络LIF神经元QIF神经元梯度下降神经形态计算
推荐理由：做SNN训练或神经形态计算的团队，LIF的脉冲不连续问题可能让你头疼——QIF神经元直接解决了这个痛点，性能更好且训练更稳定，值得在项目中试试替换。
原文