基于多模态特征融合的井下人员不安全行为识别
王宇1
于春华2
陈晓青1
宋家威1
1.辽宁科技大学 矿业工程学院,辽宁 鞍山 1140512.凌钢股份北票保国铁矿有限公司,辽宁 朝阳 122102
摘要：采用人工智能技术对井下人员的行为进行实时识别,对保证矿井安全生产具有重要意义.针对基于RGB模态的行为识别方法易受视频图像背景噪声影响、基于骨骼模态的行为识别方法缺乏人与物体的外观特征信息的问题,将 2 种方法进行融合,提出了一种基于多模态特征融合的井下人员不安全行为识别方法.通过SlowOnly网络对 RGB模态特征进行提取;使用 YOLOX与 Lite-HRNet网络获取骨骼模态数据,采用PoseC3D网络对骨骼模态特征进行提取;对RGB模态特征与骨骼模态特征进行早期融合与晚期融合,最后得到井下人员不安全行为识别结果.在X-Sub标准下的NTU60 RGB+D公开数据集上的实验结果表明:在基于单一骨骼模态的行为识别模型中,PoseC3D拥有比GCN(图卷积网络)类方法更高的识别准确率,达到 93.1%;基于多模态特征融合的行为识别模型对比基于单一骨骼模态的识别模型拥有更高的识别准确率,达到 95.4%.在自制井下不安全行为数据集上的实验结果表明:基于多模态特征融合的行为识别模型在井下复杂环境下识别准确率仍最高,达到93.3%,对相似不安全行为与多人不安全行为均能准确识别.
关键词：智能矿山行为识别目标检测姿态估计多模态特征融合RGB模态骨骼模态YOLOX
分类号：TD67(矿山电工)
资助基金：国家自然科学基金(51174110)
论文发表日期：2023-11-10
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：7( 138-144 )
英文信息