基于红外/可见光双模态融合的无轨胶轮车运行前方人员检测方法
秦海初1
姚兴1
李超2
王星2
魏东3
1.中煤华晋集团有限公司,山西 运城 0433012.中煤能源研究院有限公司,陕西 西安 7100543.中国矿业大学,江苏 徐州 221116
摘要：无轨胶轮车以其卓越的适应性、灵活性、高效性逐渐成为现代煤矿辅助运输中的核心组成部分.煤矿井下辅助运输沿线光照条件差、场景信息复杂,导致无轨胶轮车事故频发,严重威胁辅助运输沿线作业人员的生命安全.针对煤矿井下辅助运输沿线无轨胶轮车运行前方侵入人员的可靠识别问题,提出了基于红外/可见光双模态融合技术的辅助运输沿线人员可靠识别方法,构建了基于多尺度特征交互模块红外/可见光双模融合网络,采用多级同尺度融合与跨尺度融合相结合的方式,设计了基于窗口多头自注意机制和基于滑动窗口多头自注意机制,有效保留了红外图像与可见光图像的结构细节特征.仿真结果表明:在处理红外/可见光融合方面,所提双模融合网络在峰值信噪比、结构特征相似指数、均方误差、相关度指标均高于Dif-Fusion、SwinFusion 2 种常用图像融合网络;优化了YOLOv8 目标识别网络后处理方式,采用DIoU-NMS结构提升了目标定位的精度,并降低了算法漏检率,实现了辅助运输巷道作业人员的可靠识别.此外,基于煤矿井下场景实拍图像并在基础上进行处理扩展,建成了面向煤矿井下辅助运输沿线人员检测任务的有效数据集.中煤华晋集团有限公司王家岭矿开展的工业性试验结果表明:所构建的无轨胶轮车运行前方侵入人员可靠识别方法的人员检测精确率可达 97.58%,召回率可达 98.54%.
关键词：无轨胶轮车红外/可见光图像多源图像融合人员识别深度学习
分类号：TD679(矿山电工)
资助基金：国家自然科学基金(52204179)
论文发表日期：2025-11-20
在线出版日期：2025-11-25（本平台首次上网日期，不代表文献的发表时间）
页数：8( 193-200 )
英文信息