基于BERT的Base与Large版的领域命名实体识别研究
孙浩
雒伟群
赵尔平
王伟
崔志远
西藏民族大学信息工程学院 咸阳 712082
摘要：为了解决西藏畜牧业领域相关文本的实体识别难度大的问题,构建了一种结合BERT预训练语言模型的神经网络模型,该模型将语料输入BERT中获取字向量抽象特征,然后再传入双向长短时记忆网络(BILSTM)中编码以获取上下文相关的语义信息,最后通过条件随机场(CRF)进行解码提取出相应的实体.结合领域特点自建西藏畜牧业领域语料库,并设计不同类型实体的标注方法及命名规范,将BERT的Base和Large版本分别与BILSTM-CRF结合进行命名实体识别实验.实验结果表明:总体上Base和Large版在F1值上分别收敛至92.37％和92.78％,但是在自定义的动物、动物疾病以及病虫害三个类别上未训练词的识别方面,Large版的F1值比Base版平均高6.25％,该模型在西藏畜牧业领域命名实体任务中表现出色并且BERT的Large版对长语句中的未训练词识别效果更好.
关键词：命名实体识别BERT模型BERT-BILSTM-CRF西藏畜牧业领域
分类号：O141.4(数理逻辑、数学基础)
资助基金：国家自然科学基金(61762082)西藏自治区自然科学基金(XZ2018ZRG-66)西藏自治区科技计划项目(XZ202001ZY0055G)
论文发表日期：2021-12-20
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：7( 2455-2461 )
英文信息