基于多模态交叉融合的协同制造企业图表问答方法
王鑫鑫1
陈亮2
董前前2
1.商洛学院经济管理学院 商洛 726000;西安工程大学计算机科学学院 西安 7100482.西安工程大学计算机科学学院 西安 710048
摘要：为了帮助协同制造企业对非结构化图表数据的信息提取,提出了一种基于多模态交叉融合的图表问答方法.首先使用文本检测和文本识别技术,提取图表中的文本和数值信息,并实现图表数据到表格数据的转化.随后将查询的图表、用户问题以及生成的表格作为输入,通过多模态交叉融合模型,融合图像特征和表格-文本特征,获得更全面的图表信息从而准确回答用户的问题.该方法解决了传统文字识别无法应对弯曲和异形文字的问题,并使得图表信息提取精准度达到91.58%.在引入真实企业图表数据集的背景下,图表问答的准确率达到了82.24%.
关键词：图表问答多模态融合深度学习文字识别
分类号：TU318+.6(建筑结构)
资助基金：国家自然科学基金(51675108)陕西省教育厅重点科学研究计划(22JS021)
论文发表日期：2025-09-20
在线出版日期：2025-12-23（本平台首次上网日期，不代表文献的发表时间）
页数：6( 51-56 )
英文信息