基于BERT的文本相似算法改进
林志墅
匡立伟
武汉邮电科学研究院 武汉 430074
摘要：随着深度神经网络的发展,越来越多的模型由注重自然语言的字面意思开始转向重视自然语言文本语义信息.模型为了获取文本的语义信息需要大量的本文进行训练.2018 年BERT的横空出世,提出了自然语言的预训练模型,基于BERT预训练模型的文本相似算法也受到了广泛的关注.由于BERT的attention机制并不注重文本的时序信息,而且在文本相似比较中,文本的时序信息是一个比较重要的特征,所以论文针对于BERT所缺少的这一部分时序信息对BERT模型进行了改进,最终在LCQMC数据集的验证集和测试集上分别得到了 2.07%和 0.87%的提升,分别达到了 89.39%和87.41%的准确率.
关键词：深度神经网络BERT语义信息时序信息
分类号：TP389.1(计算技术、计算机技术)
论文发表日期：2024-07-20
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：5( 1969-1973 )
英文信息