09:59arXiv cs.LG@Taharim Rahman Anon, Jakaria Islam Emon提出可学习的残差语音到脉冲编码器,与Recurrent Leaky Integrate-and-Fire (R-LIF)骨干联合训练。在Google Speech Commands v2 (GSC-v2)基准上达到94.97%准确率。35k参数的紧凑变体达到89.8%,匹配或超越参数多一个数量级的基线。编码器学习任务对齐的脉冲表示,提升类别可分性。Direct Feedback Alignment (DFA)在相同设置下达到91.5%,量化了生物启发学习规则的性能权衡。论文SNN脉冲神经网络语音编码GSC-v2DFA推荐理由:这篇论文给脉冲神经网络设计了个自适应语音编码器,参数少还能在GSC-v2上跑到94.97%,比很多大模型都强,还比较了两种训练方式。原文
10:39arXiv cs.LG@Carlo Wenig, Raoul-Martin Memmesheimer, Christian Klos脉冲神经网络(SNN)训练中广泛使用的LIF神经元存在参数微小变化导致脉冲消失/出现、损失景观碎片化的问题。最新研究发现,二次整合-发放(QIF)神经元能避免这些不连续性,实现连续平滑的梯度下降。在Spiking Heidelberg Digits数据集上,QIF网络通过超参数搜索后性能显著优于LIF网络。可视化显示LIF的损失景观更碎片化、梯度更不稳定,而QIF则更平滑。研究建议用QIF等连续脉冲动力学模型替代LIF进行梯度下降训练。论文脉冲神经网络LIF神经元QIF神经元梯度下降神经形态计算推荐理由:做SNN训练或神经形态计算的团队,LIF的脉冲不连续问题可能让你头疼——QIF神经元直接解决了这个痛点,性能更好且训练更稳定,值得在项目中试试替换。原文
11:43arXiv cs.AI(学术论文)该研究提出一种参数重建算法,用于训练脉冲神经网络(SNN)。由于脉冲函数的不可微性,传统SNN训练依赖代理梯度,引入逐层累积的近似误差。研究团队扩展了并行前馈阈值网络的凸化理论至并行递归阈值网络,将SNN作为其结构化特例纳入框架。新算法在多个任务中作为独立方法或与代理梯度训练结合均表现出一致且显著的优势。消融实验验证了其数据扩展性和对模型配置的鲁棒性,表明该方法在大规模SNN训练中具有潜力。论文脉冲神经网络凸优化训练算法代理梯度理论突破推荐理由:该工作从理论层面解决了SNN训练中梯度近似误差累积的难题,提出的参数重建算法在多个基准任务上验证了有效性,为大规模低能耗SNN训练提供了新路径。原文