用于井下行人检测的可见光和红外图像融合算法
周李兵1
陈晓晶2
贾文琪2
卫健健2
叶柏松2
邹盛2
1.中煤科工集团常州研究院有限公司,江苏常州 213015;天地(常州)自动化股份有限公司,江苏 常州 213015;南京航空航天大学机电学院,江苏南京 2100162.中煤科工集团常州研究院有限公司,江苏常州 213015;天地(常州)自动化股份有限公司,江苏 常州 213015
摘要：矿用智能车辆的工作环境光照条件复杂,在进行井下行人检测时可以通过融合可见光和红外图像,将红外线反射信息和细节纹理信息融合于可见光图像中,改善目标检测效果.传统的可见光和红外图像融合方法随着分解层数增多,会导致图像边缘和纹理模糊,同时融合时间也会增加.目前基于深度学习的可见光和红外图像融合方法难以平衡可见光和红外图像中的特征,导致融合图像中细节信息模糊.针对上述问题,提出了一种基于多注意力机制的可见光和红外图像融合算法(IFAM).首先采用卷积神经网络对可见光和红外图像提取图像特征;然后通过空间注意力和通道注意力模块分别对提取出来的特征进行交叉融合,同时利用特征中梯度信息计算2个注意力模块输出特征的融合权值,根据权值融合2个注意力模块的输出特征;最后通过反卷积变换对图像特征进行还原,得到最终的融合图像.在RoadScene数据集和TNO数据集上的融合结果表明,经IF AM融合后的图像中同时具备了可见光图像中的背景纹理和红外图像中的行人轮廓特征信息;在井下数据集上的融合结果表明,在弱光环境下,红外图像可以弥补可见光的缺点,并且不受环境中其他光源的影响,在弱光条件下融合后的图像中行人轮廓依旧明显.对比分析结果表明,经IF AM融合后图像的信息熵(EN)、标准方差(SD)、梯度融合度量指标(QAB/F)、融合视觉信息保真度(VIFF)和联合结构相似性度量(SSIMu)分别为4.901 3,88.521 4,0.169 3,1.413 5,0.806 2,整体性能优于同类的LLF-IOI,NDM等算法.
关键词：矿用智能车辆无人驾驶行人检测深度学习多传感器图像融合红外图像多注意力机制
分类号：TD67(矿山电工)
资助基金：江苏省科技成果转化专项项目(BA2022040)天地科技股份有限公司科技创新创业资金专项项目(2021-TD-ZD004)天地科技股份有限公司科技创新创业资金专项项目(2023-TD-ZD005)
论文发表日期：2023-09-10
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：11( 73-83 )
英文信息