基于速率编码的极低延迟深度脉冲神经网络研究
熊志民1
陈云华1
冯忍2
陈平华1
1.广东工业大学计算机学院,广东 广州 5100062.广东工业大学计算机学院,广东 广州 510006;苏州酷珈科技有限公司,江苏苏州 215000
摘要：脉冲神经网络(SNN)具有强大的时空信息表征、异步事件处理能力,但由于脉冲发放过程不具有连续可微性,其训练是一个难题.人工神经网络(ANN)转SNN的方法,能够获得较高推理精度的深度SNN,但却存在SNN网络延迟和功耗过高的问题.为了降低网络延迟和功耗,本文从脉冲信息传递的异步特性入手,分析了极低延迟下SNN精度损失的主要原因,提出残余膜电位误差(RMPE)的概念,并对其进行分析与推导,建立残余膜电位与初始膜电位和权重之间的关系模型.基于所建立的残余膜电位模型,提出一种初始膜电位和权重的分层校准算法,减少残余膜电位误差,从而解决脉冲输入序列均匀分布假设与真实分布不一致的问题.提出一种ANN-SNN的双阶段转化框架,在第1阶段,采用带有可训练分层阈值的量化截断激活函数对ANN进行二次训练,以实现量化误差与截断误差的最优化;在第2阶段,对SNN进行微调训练,以进一步缩小残余膜电位误差,使得在极低延迟下的ANN-SNN转化也能获得较高的精度.实验结果表明,本文方法在推理延迟和功耗方面都优于现有的方法.
关键词：脉冲神经网络ANN-SNN转化速率编码
论文发表日期：2025-03-31
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：10( 531-540 )
英文信息