多级上下文信息增强的实体识别模型
王谭
陈金广
马丽丽
西安工程大学计算机科学学院 西安 710048
摘要：基于上下文的词向量方法能为命名实体识别任务带来更多的语义信息和语法信息,但这些信息只停留在句子的词与词之间,缺乏词语本身语素级信息和文章主旨信息.针对该问题,提出以包含多级上下文信息的情景化向量作为输入的实体识别模型.在MPNet训练过程中,先联合当前和周围语句进行建模,输出包含文档级上下文特征的词级向量,并与情景化字符级表示相结合,再通过一个序列标记层得到对应的实体标签.实验结果表明,模型在CoNLL-2003、CoNLL++和OntoNotes5.0数据集上都获得了较好的识别结果.
关键词：自然语言处理命名实体识别预训练模型双向长短期记忆网络条件随机场
分类号：TP391(计算技术、计算机技术)
资助基金：陕西省自然科学基础研究计划项目(2023-JC-YB-568)陕西省教育厅科研计划项目(22JP028)
论文发表日期：2025-11-20
在线出版日期：2026-01-28（本平台首次上网日期，不代表文献的发表时间）
页数：6( 3162-3167 )
英文信息