精选理由
做SNN训练或神经形态计算的团队，LIF的脉冲不连续问题可能让你头疼——QIF神经元直接解决了这个痛点，性能更好且训练更稳定，值得在项目中试试替换。
脉冲神经网络（SNN）训练中广泛使用的LIF神经元存在参数微小变化导致脉冲消失/出现、损失景观碎片化的问题。最新研究发现，二次整合-发放（QIF）神经元能避免这些不连续性，实现连续平滑的梯度下降。在Spiking Heidelberg Digits数据集上，QIF网络通过超参数搜索后性能显著优于LIF网络。可视化显示LIF的损失景观更碎片化、梯度更不稳定，而QIF则更平滑。研究建议用QIF等连续脉冲动力学模型替代LIF进行梯度下降训练。
AI 翻译 · 中文
脉冲神经网络（SNN）训练中广泛使用的LIF神经元存在参数微小变化导致脉冲消失/出现、损失景观碎片化的问题。最新研究发现，二次整合-发放（QIF）神经元能避免这些不连续性，实现连续平滑的梯度下降。在Spiking Heidelberg Digits数据集上，QIF网络通过超参数搜索后性能显著优于LIF网络。可视化显示LIF的损失景观更碎片化、梯度更不稳定，而QIF则更平滑。研究建议用QIF等连续脉冲动力学模型替代LIF进行梯度下降训练。
The ability to train spiking neural networks is essential for modeling biological neural networks as well as for neuromorphic computing. However, for the extensively used leaky integrate-and-fire (LIF) neurons, arbitrari…