基于多模态的井下登高作业专人扶梯检测方法
孙晴
杨超宇
安徽理工大学 人工智能学院,安徽 淮南 232001
摘要：目前大多数的井下人员不安全行为识别研究侧重于在计算机视觉上提高精度,但井下易出现遮挡、光照不稳定、反光等情况,仅采用计算机视觉技术难以实现对不安全行为的准确识别,尤其登高作业中的爬梯、扶梯等相似动作在识别过程中易被混淆,存在安全隐患.针对上述问题,提出一种基于多模态的井下登高作业专人扶梯检测方法.该方法从视觉和音频 2个模态对监控视频数据进行分析.视觉模态方面,采用YOLOv8模型检测登高梯是否存在,如果存在,获得登高梯的位置坐标,并将视频段放入OpenPose算法中进行姿态估计,得到人体的各个骨骼关节点的特征,将这些骨骼关节点序列放入改进的时空注意图卷积网络(SAT-GCN)中,得到人体动作标签及其对应概率.音频模态方面,采用飞桨自动语言识别系统将语音转换为文本,使用双向编码器表示(BERT)模型对文本信息进行特征分析与提取,得到文本标签及其对应的概率.最后将视觉模态与音频模态得到的信息进行决策级融合,判断井下登高作业是否有专人扶梯.实验结果表明:基于骨架数据的动作识别中,优化后的SAT-GCN模型对于扶梯、爬梯、站立 3种动作的识别精度分别提升了 3.36%,2.83%,10.71%;基于多模态的检测方法比单模态方法具有更高的识别准确率,达到98.29%.
关键词：登高作业专人扶梯多模态融合视觉模态音频模态YOLOv8OpenPoseSAT-GCNBERT
分类号：TD67(矿山电工)
资助基金：国家自然科学基金(61873004)
论文发表日期：2024-05-10
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：9( 142-150 )
英文信息