带有微分项改进的自适应梯度下降优化算法
葛泉波1
张建朝2
杨秦敏3
李宏4
1.南京信息工程大学自动化学院,江苏南京,2100442.杭州电子科技大学自动化学院,浙江杭州3100183.浙江大学控制科学与工程学院,浙江杭州3100634.中国飞行试验研究院,陕西西安710089
摘要：梯度下降算法作为卷积神经网络训练常用优化算法,其性能的优劣直接影响网络训练收敛性.本文主要分析了目前梯度优化算法中存在超调而影响收敛性问题以及学习率自适应性问题,提出了一种带微分项的自适应梯度优化算法,旨在改善网络优化过程收敛性的同时提高收敛速率.首先,针对优化过程存在较大超调量的问题,通过对迭代算法的重整合以及结合传统控制学原理引入微分项等方式来克服权重更新滞后于实际梯度改变的问题;然后,引入自适应机制来应对因学习率的不适应性导致的收敛率差和收敛速率慢等问题;紧接着,基于柯西-施瓦茨和杨氏不等式等证明了新算法的最差性能上界(悔界)为O(√T).最后,通过在包括MNIST数据集以及CIFAR-10基准数据集上的仿真实验来验证新算法的有效性,结果表明新算法引入的微分项和自适应机制的联合模式能够有效地改善梯度下降算算法的收敛性能,从而实现算法性能的明显改善.
关键词：卷积神经网络梯度下降算法微分项权重更新自适应学习率悔界
资助基金：中国航空科学基金项目(2019460T5001)
论文发表日期：2022-04-28
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：10( 623-632 )
英文信息