基于知识蒸馏的卷积神经网络压缩方法
郑筠1
高朋2
1.华南理工大学电子与信息学院,广东 广州 510641;深圳供电局有限公司信息中心,广东 深圳 5180012.深圳供电局有限公司信息中心,广东 深圳 518001
摘要：[目的]卷积神经网络作为深度学习领域的一项重要技术,在图像识别、目标检测、自然语言处理等多个领域展现出了卓越的性能.然而,随着模型深度和复杂度的增加,卷积神经网络模型的大小和计算需求也急剧上升,这为模型的部署和实时应用提出了严峻挑战.[方法]为减少神经网络的大小和计算量,并提高模型的效率和可部署性,提出了基于知识蒸馏的卷积神经网络压缩方法.通过将大型复杂模型(教师网络模型)中的知识转移给小型精简模型(学生网络模型)来实现模型的压缩和加速,本文建立了性能优异的教师网络和结构更简单、参数更少的学生网络.教师网络负责提供丰富的特征表示和准确的预测结果,学生网络则通过学习教师网络行为来逼近其性能.使用标准损失函数,并通过反向传播算法迭代更新其参数,确保其在训练数据集上达到良好的性能.采用改进知识蒸馏方法获取综合阈值函数,评估教师网络和学生网络之间的知识差异,并指导学生网络的学习过程.在训练过程中,学生网络利用综合阈值函数进行监督,逐步逼近教师网络的输出,同时保持较小的模型结构和计算复杂度,从而实现了卷积神经网络的压缩处理.[结果]实验结果表明:本文方法在ImageNet和Labelme数据集上均表现出较好的模型压缩效果.其中,本文方法在压缩前后卷积神经网络输出结果的拟合度较高,表明学生网络成功学到了教师网络的关键特征;交叉熵损失值较低,在1.0左右,进一步验证了其良好的预测性能;完成卷积神经网络模型的压缩时间较短,为79.8～89.4s,表明本文方法具有较高的计算效率.[结论]由以上结果可知,基于知识蒸馏卷积神经网络压缩方法能够有效减小模型结构、降低计算量,并保持甚至提升了模型的性能.本文方法不仅为模型压缩提供了一种新的思路,还为深度学习模型的部署和应用提供了有力支持.此外,本文方法在知识蒸馏方法上进行了改进,通过引入综合阈值函数来更全面地评估和指导模型的学习过程,在一定程度上提升了知识蒸馏的效果和效率.因此,本文方法不仅具有理论价值,还具有重要的实践意义.
关键词：卷积神经网络压缩改进知识蒸馏方法判别器学生网络教师网络标准损失函数综合阈值函数交叉熵损失值
分类号：TP391(计算技术、计算机技术)
资助基金：广东省科技攻关项目(20205899R01)中国南方电网有限责任公司创新项目(090000KK52200083)
论文发表日期：2025-05-25
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：7( 348-354 )
英文信息