基于文档顺序与多模态模型的金融票据信息抽取
覃俊1
林宇亭1
刘晶2
叶正3
刘洲1
1.中南民族大学计算机科学学院 武汉 430074;湖北省制造企业智能管理工程技术研究中心 武汉 4300742.中南民族大学计算机科学学院 武汉 430074;湖北省制造企业智能管理工程技术研究中心 武汉 430074;农业区块链与智能管理湖北省工程研究中心 武汉 4300743.中南民族大学计算机科学学院 武汉 430074
摘要：目前的文档信息抽取方法大多针对简单的文档,在抽取包含背景干扰和结构复杂的金融票据时效果不佳.针对复杂金融票据中实体关系难以正确匹配的问题,提出了顺序重构方法和LayoutLMv3-GRU信息抽取模型.构建背景复杂的金融票据数据集,利用文本、布局和图像三个模态进行信息抽取.利用Layout-Parser工具,设计排序模块,使文本信息按照上下文关系排序,并把空间距离较远且逻辑关系较近的单词进行重新的排列组合.通过结合改进的LayoutLMv3模型与GRU网络,使模型的准确率进一步提升.并在公共数据集FUNSD与自建的复杂金融数据集进行实验.结果表明,该方法的F1值比LayoutLM3模型提升2.37%.尤其在自建的复杂金融数据集上,模型F1值达到了88.36%,验证了该方法在抽取复杂票据信息时的优越性与处理各种文档时的通用性.
关键词：金融票据信息抽取多模态LayoutLM3门控神经网络
分类号：O141.4(数理逻辑、数学基础)
资助基金：国家民族事务委员会中青年英才培养计划(MZR20007)新疆维吾尔自治区区域协同创新专项科技援疆计划(2022E02035)湖北省中医药管理局中医药科研项目(ZY2023M064)
论文发表日期：2024-01-20
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：6( 23-27,80 )
英文信息