DenseCNN-ATT:实体关系抽取的密集连接卷积神经网络
李雅欣1
王佳英2
单菁2
邵明阳1
1.沈阳建筑大学信息与控制工程学院 沈阳 1101682.沈阳建筑大学信息与控制工程学院 沈阳 110168;沈阳工业大学软件学院 沈阳 110023
摘要：在远程监督(Distant Supervision,DS)实体关系抽取任务中,采用远程监督的方式虽然可以产生大量的标注数据,但是这种方法产生的数据集充满大量的噪声数据,从而会降低关系抽取的性能.为此,我们针对现有深度学习使用浅层和单一深层神经网络模型提取特征的局限,设计了一个融合注意力机制的密集连接卷积神经网络模型——DenseCNN-ATT,该模型采用五层卷积深度的CNN,构成密集连接卷积模块作为句子编码器,通过增加特征通道数量来提高特征传递,减少了特征梯度的消失现象;此外,为进一步减少噪声影响,论文将网络的最大池化结果融合注意力机制,通过强调句子权重,来提升关系抽取性能.该模型在NYT数据集上的平均准确率达到了83.2％,相比于目前效果较好的浅层网络PCNN+ATT和深层网络ResCNN-9提升了9％～11％.实验证明,该模型能够充分利用有效的实例关系,在综合性能上明显优于目前效果较好的主流模型.
关键词：密集连接关系抽取注意力机制卷积神经网络远程监督
分类号：TP391(计算技术、计算机技术)
资助基金：国家自然科学基金(61702346)国家自然科学基金(61702345)辽宁省教育厅基金(lnqn202015)
论文发表日期：2021-12-20
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：7( 2483-2489 )
英文信息