10:39arXiv cs.LG@Carlo Wenig, Raoul-Martin Memmesheimer, Christian Klos脉冲神经网络(SNN)训练中广泛使用的LIF神经元存在参数微小变化导致脉冲消失/出现、损失景观碎片化的问题。最新研究发现,二次整合-发放(QIF)神经元能避免这些不连续性,实现连续平滑的梯度下降。在Spiking Heidelberg Digits数据集上,QIF网络通过超参数搜索后性能显著优于LIF网络。可视化显示LIF的损失景观更碎片化、梯度更不稳定,而QIF则更平滑。研究建议用QIF等连续脉冲动力学模型替代LIF进行梯度下降训练。论文脉冲神经网络LIF神经元QIF神经元梯度下降神经形态计算推荐理由:做SNN训练或神经形态计算的团队,LIF的脉冲不连续问题可能让你头疼——QIF神经元直接解决了这个痛点,性能更好且训练更稳定,值得在项目中试试替换。原文