改进聚类的深度神经网络压缩实现方法
刘涵
王宇
马琰
1.西安理工大学自动化与信息工程学院,陕西西安,7100482.西安理工大学自动化与信息工程学院,陕西西安,7100483.西安理工大学自动化与信息工程学院,陕西西安,710048
摘要：深度神经网络通常是过参数化的,并且深度学习模型存在严重冗余,这导致了计算和存储的巨大浪费.针对这个问题,本文提出了一种基于改进聚类的方法来对深度神经网络进行压缩.首先通过剪枝策略对正常训练后的网络进行修剪,然后通过K–Means++聚类得到每层权重的聚类中心从而实现权值共享,最后进行各层权重的量化.本文在LeNet,AlexNet和VGG–16上分别进行了实验,提出的方法最终将深度神经网络整体压缩了30到40倍,并且没有精度损失.实验结果表明通过基于改进聚类的压缩方法,深度神经网络在不损失精度的条件下实现了有效压缩,这使得深度网络在移动端的部署成为了可能.
关键词：深度神经网络剪枝K—Means++聚类深度网络压缩
资助基金：国家自然科学基金(61833013)陕西省重点研发计划重点项目(2018ZDXM–GY–089)陕西省现代装备绿色制造协同创新中心研究计划(304–210891704)陕西省教育厅科学研究计划(2017JS088)西安理工大学特色研究计划项目(2016TS023)
论文发表日期：2019-01-01
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：7( 1130-1136 )
英文信息