基于跨模态注意力融合的煤炭异物检测方法
曹现刚
李虎
王鹏
吴旭东
向敬芳
丁文韬
西安科技大学 机械工程学院,西安 710054;陕西省矿山机电装备智能检测重点实验室,西安 710054
摘要：为解决原煤智能化洗选过程中煤流中夹杂的异物对比度低、相互遮挡导致异物图像检测时特征提取不充分的问题,提出了一种基于跨模态注意力融合的煤炭异物检测方法.通过引入Depth图像构建RGB图像与Depth图像的双特征金字塔网络(DFPN),采用浅层的特征提取策略提取Depth图像的低级特征,用深度边缘与深度纹理等基础特征辅助RGB图像深层特征,以有效获得2种特征的互补信息,从而丰富异物特征的空间与边缘信息,提高检测精度;构建了基于坐标注意力与改进空间注意力的跨模态注意力融合模块(CAFM),以协同优化并融合RGB特征与Depth特征,增强网络对特征图中被遮挡异物可见部分的关注度,提高被遮挡异物检测精度;使用区域卷积神经网络(R-CNN)输出煤炭异物的分类、回归与分割结果.实验结果表明:在检测精度方面,该方法的AP相较两阶段模型中较优的Mask transfiner高3.9％;在检测效率方面,该方法的单帧检测时间为110.5 ms,能够满足异物检测实时性需求.基于跨模态注意力融合的煤炭异物检测方法能够以空间特征辅助色彩、形状与纹理等特征,准确识别煤炭异物之间及煤炭异物与输送带之间的差异,从而有效提高对复杂特征异物的检测精度,减少误检、漏检现象,实现复杂特征下煤炭异物的精确检测与像素级分割.
关键词：煤炭异物检测实例分割双特征金字塔网络跨模态注意力融合Depth图像坐标注意力改进空间注意力
分类号：TD67(矿山电工)
资助基金：国家自然科学基金(51975468)陕西省重点研发计划项目(2018GY-160)陕西省教育厅科学研究计划项目(18JC022)
论文发表日期：2024-01-10
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：9( 57-65 )
英文信息