基于雷达与视觉融合的双模态煤矿井下环境感知技术
杨志方
煤炭科学技术研究院有限公司,北京 100013;煤矿应急避险技术装备工程研究中心,北京 100013;北京市煤矿安全工程技术研究中心,北京 100013
摘要：环境感知是煤矿巡检机器人、视觉测量系统等场景应用的关键技术.单模态环境感知技术对煤矿井下复杂环境的感知能力较差.提出了雷达与视觉双模态空间融合方法,通过激光雷达和摄像仪之间的坐标转换来实现二者采集信息的融合,从而提高环境感知能力.为了更好地提取目标特征信息,提出了双模态融合环境感知网络架构技术路线:摄像仪和雷达采集的环境信息经雷达与视觉双模态空间融合方法进行融合处理,多模态特征融合网络模块提取融合信息中的目标特征,多任务处理网络模块采用不同的任务头处理目标特征信息,完成目标检测、图像分割、目标分类等环境感知任务.采用YOLOv5s目标检测算法搭建双模态特征提取网络模块进行实验,结果表明:基于雷达与视觉融合的双模态煤矿井下环境感知技术对井下巷道环境下行人检测的成功率较视觉、雷达感知分别提升 15%,10%,对车道线、标志牌等各类目标分割的平均精度均值较视觉感知均提高 10%以上,有效提升了煤矿井下环境感知能力,可为煤矿道路环境感知、视觉测量系统、无人矿车导航系统、矿井搜救机器人等应用场景提供技术支持.
关键词：煤矿井下环境感知雷达感知视觉感知双模态融合感知图像分割目标分类识别
分类号：TD67(矿山电工)
资助基金：国家自然科学基金(42201386)天地科技股份有限公司科技创新创业资金专项(2023-TD-ZD005-005)天地科技股份有限公司科技创新创业资金专项(2022-2-TD-ZD001)天地科技股份有限公司科技创新创业资金专项(2022-TD-ZD001)
论文发表日期：2023-11-10
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：9( 67-75 )
英文信息