基于中间层频域特征蒸馏的元学习算法
张灵
郭林威
广东工业大学 计算机学院,广州 510000
摘要：针对目前知识蒸馏忽略特征图全局统计信息的问题,提出利用离散余弦变换(DCT)频域释义的全局统计特征知识,并对各类别的频域特征使用Logistic分类器进行二分类,提取类间差异性信息.利用元学习算法(MPL)对教师模型参数进行更新,使教师模型能动态调整所传递的频域特征.实验模型在CIFAR-10,CIFAR-100 以及ImageNet 2012 数据集上有 0.12％～0.16％的精度提升,结果表明,频域特征与类间相似性信息为学生模型的训练提供更多有用的知识,且两模型的知识交互更有利于教师的知识迁移.
关键词：知识蒸馏元学习离散余弦变换自监督中间特征层Logistic分类器全局统计特征知识类间差异性信息
分类号：TP391(计算技术、计算机技术)
资助基金：广东省自然科学基金项目(2021A1515012233)
论文发表日期：2023-05-25
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：6( 313-318 )
英文信息