融合ERNIE和深度学习的文本分类方法
杨笑笑
陆奎
安徽理工大学 计算机科学与工程学院,安徽 淮南 232000
摘要：针对目前中文语义提取不充分,存在特征提取不完善、丢失关键信息的问题,提出了一种融合知识增强的语义表示(enhanced representation through knowledge integration,ERNIE)、卷积神经网络(convolutional neural networks,CNNs)、双向门控循环单元(bidirectional gated recurrent unit,BiGRU)的注意力机制(integration of ERNIE and CNNs-BiGRU's attention mechanism,ECBA)模型.首先,使用ERNIE模型预训练出动态词向量;然后,在特征提取层设置不同大小的卷积核提取局部特征,再利用BiGRU模型提取全局特征,并在BiGRU模型中引入注意力机制捕获关键信息,及融合局部特征和全局特征得到最终的特征向量;最后,通过softmax函数预测类别.将模型在公开数据集上进行验证.结果表明,相较于对照模型,ECBA模型在准确率、召回率、F1 值上分别达到了 95.07%、95.01%、95.03%的较好效果.ECBA模型用于新闻分类任务中,能促进特征提取技术在文本分类上的研究.
关键词：ERNIEBiGRU文本分类注意力机制特征提取
分类号：TP391.1(计算技术、计算机技术)
资助基金：国家自然科学基金(51274011)
论文发表日期：2023-12-20
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：7( 506-512 )
英文信息