脉冲神经网络参数重建实现全局最优训练

精选理由

该工作从理论层面解决了SNN训练中梯度近似误差累积的难题,提出的参数重建算法在多个基准任务上验证了有效性,为大规模低能耗SNN训练提供了新路径。

AI 摘要

该研究提出一种参数重建算法,用于训练脉冲神经网络(SNN)。由于脉冲函数的不可微性,传统SNN训练依赖代理梯度,引入逐层累积的近似误差。研究团队扩展了并行前馈阈值网络的凸化理论至并行递归阈值网络,将SNN作为其结构化特例纳入框架。新算法在多个任务中作为独立方法或与代理梯度训练结合均表现出一致且显著的优势。消融实验验证了其数据扩展性和对模型配置的鲁棒性,表明该方法在大规模SNN训练中具有潜力。

AI 翻译 · 中文

该研究提出一种参数重建算法,用于训练脉冲神经网络(SNN)。由于脉冲函数的不可微性,传统SNN训练依赖代理梯度,引入逐层累积的近似误差。研究团队扩展了并行前馈阈值网络的凸化理论至并行递归阈值网络,将SNN作为其结构化特例纳入框架。新算法在多个任务中作为独立方法或与代理梯度训练结合均表现出一致且显著的优势。消融实验验证了其数据扩展性和对模型配置的鲁棒性,表明该方法在大规模SNN训练中具有潜力。