基于Adam优化的卷积神经网络随机共振现象研究
尚天鹏
王友国
南京邮电大学理学院 南京 210046
摘要：文中利用随机共振对改善Adam优化的卷积神经网络在算力有限下的性能进行了研究.对反向传播算法采用动量梯度下降算法去更新参数的网络进行Adam优化,利用MNIST手写数字集进行仿真实验,在论文实验条件下,跟动量梯度下降算法的网络相比,Adam优化的网络在前15次epoch下交叉熵降低,增加训练样本数量可以使得交叉熵的降低幅度减小.论文对Adam优化的卷积神经网络的输出神经元加入高斯噪声,仿真结果表明,交叉熵减少百分比出现了随机共振现象,增加训练样本数量可以使得随机共振现象的效果减小.
关键词：梯度下降算法Adam优化高斯噪声仿真实验
分类号：TP183(自动化基础理论)TN911.7(通信)
资助基金：国家自然科学基金(62071248)江苏省研究生科研创新计划项目(KYCX20_0730)
论文发表日期：2023-11-20
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：4( 2553-2556 )
英文信息