面向跨模态的露天矿障碍物检测方法
刘光伟
雷健
郭直清
柴森霖
辽宁工程技术大学矿业学院,辽宁 阜新 123000
摘要：在露天矿开采作业中,安全开采是保障生产流程顺利推进的关键,然而露天矿障碍物检测面临复杂环境带来的严峻挑战.传统视觉算法难以满足露天矿复杂的生产场景需求,因其道路环境复杂,暗光致使道路状况难辨,恶劣天气频发等严重干扰检测精准度,杂乱矿场背景中有各类机械设备、堆积物与起伏地形交织,且存在多种不同类型障碍物,传统算法局限性显著,已有改进算法在露天矿环境下的适应性与鲁棒性也有待提升.为实现精准、高效检测露天矿障碍物,保障矿山运输安全,突破传统算法瓶颈,基于YOLO架构提出跨模态检测模型——Mamba-YOLO-World.该模型采用多模态信息,将文本信息与图像信息相结合来提升检测精度和复杂情况下的障碍物检测能力.引入MambaFusion-PAN架构深度剖析,优化融合多模态数据,精准提取道路障碍关键特征,借助状态空间模型捕捉各模态内在关联,全方位检测复杂的露天矿生产环境;融入金字塔增强网络(PENet),通过拉普拉斯金字塔将输入图像分解为不同分辨率的子图像来捕捉全局语境和边缘分支强化纹理,并大幅提升昏暗光线条件下检测能力;引入文本-图像的组合损失函数推动模型训练精度提升.经筛选整理6000张图片,同时制作对应文本信息,二者结合构建数据集基础,运用图像增强、降噪、剪裁缩放等技术为试验提供高质量数据支撑.试验将融入PENet的Mamba-YOLO-World模型与YOLOv8x、YOLOv9e等主流算法进行对比测试,结果显示该模型在mAP@50、准确率、召回率等核心指标上优势突出,其中mAP@50为 64.8%.深入分析发现,PENet显著提升了暗光检测效果,而组合损失函数则为多模态数据的训练提供有力支持.结果表明,融入PENet的Mamba-YOLO-World模型虽计算复杂度略高,但精度优势明显,相较于传统算法,通过多模态数据融合增强了模型的适应性与鲁棒性,为露天矿开采提供了一种跨模态的障碍物检测方法.
关键词：露天矿目标检测跨模态PENetMambaFusion-PAN跨模态数据融合暗光场景优化
分类号：TD804(矿山开采)TD67(矿山电工)
资助基金：国家自然科学基金(52374123)辽宁省教育厅基本科研资助项目(LJ212410147019)国家自然科学基金(52204158)
论文发表日期：2025-11-30
在线出版日期：2025-12-15（本平台首次上网日期，不代表文献的发表时间）
页数：14( 327-340 )
英文信息