Papers13:43
Chinese content研究:大步长梯度下降在对抗训练中的隐式偏差与损失锐度行为搞对抗训练的人可以看看这篇理论分析,它证明了用大步长训练也照样成立,不用非得用慢吞吞的小步长。
搞对抗训练的人可以看看这篇理论分析,它证明了用大步长训练也照样成立,不用非得用慢吞吞的小步长。
一篇理论论文,用最简单的两神经元 ReLU 模型解释了梯度下降为什么会先合并再分化,做神经网络理论研究的可以看看证明思路。
理论向读者看这篇:把 MIL 里常用的 softmax 近似 max 讲透了,还用随机能量模型和 Hopfield 网络解释了梯度下降何时失效,推导和模拟都对得上。
这个研究提出了一种新的梯度下降优化方法,通过过滤掉不稳定的梯度来提升模型对异常值的鲁棒性,实验效果不错,对做优化相关研究的人可能有参考价值。
This is a new optimizer that could improve training efficiency for AI models.
做SNN训练或神经形态计算的团队,LIF的脉冲不连续问题可能让你头疼——QIF神经元直接解决了这个痛点,性能更好且训练更稳定,值得在项目中试试替换。
Karpathy 用一句话点醒了AI社区:别光顾着堆模型,梯度下降才是根本。做训练和优化的开发者看完会有感触,值得停下来想想。