融入句法结构信息的句子级情感分析算法
李成路1
许凤2
1.南京理工大学计算机科学与工程学院 南京 2100942.南京财经大学会计学院 南京 210023
摘要：针对预训练模型BERT在编码文本时,只考虑了文本的序列信息从而只显示地学习了文本的语义信息,但文本的句法结构信息还不能被显示地利用.受知识蒸馏理论的启发,以Teacher-Student框架为模板,提出了Tree-BERT模型将文本的句法结构信息融入到BERT模型中.该模型先使用Tree-LSTM网络学习文本的句法结构信息,然后预测目标领域训练集样本的情感概率分布,也就是样本的情感"软标签",最后在扩充后的目标领域训练集上微调BERT,提高了BERT在句子级情感分析任务上的准确率.
关键词：句法结构信息知识蒸馏深度学习模型句子级情感分析
分类号：TP391(计算技术、计算机技术)
资助基金：国家自然科学基金(72001102)
论文发表日期：2023-06-20
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：6( 1310-1315 )
英文信息