轻量化姿态估计时空增强图卷积模型下的矿工行为识别
王建芳1
段思源2
潘红光2
景宁波2
1.陕西陕煤澄合矿业有限公司,陕西 渭南 7152002.西安科技大学 电气与控制工程学院,陕西 西安 710054
摘要：基于骨架序列的行为识别模型具有速度快、算力要求低、模型简单等特点,图卷积神经网络在处理骨架序列数据时具有优势,而现有基于图卷积的矿工行为识别模型在高精度和低计算复杂度之间难以兼顾.针对该问题,提出了一种基于轻量化姿态估计网络(Lite-HRNet)和多维特征增强时空图卷积网络(MEST-GCN)的矿工行为识别模型.Lite-HRNet通过目标检测器进行人体检测,利用卷积神经网络提取图像特征,并通过区域提议网络生成锚框,对每个锚框进行分类以判断是否包含目标;区域提议网络对被判定为目标的锚框进行边界框回归,输出人体边界框,并通过非极大值抑制筛选出最优检测结果;将每个检测到的人体区域裁剪出来并输入到Lite-HRNet,生成人体关键点骨架序列.MEST-GCN在时空图卷积神经网络(ST-GCN)的基础上进行改进:去除ST-GCN中的冗余层以简化模型结构,减少模型参数量;引入多维特征融合注意力模块M2FA.生成的骨架序列经MEST-GCN的BN层批量标准化处理后,由多维特征增强图卷积模块提取矿工行为特征,经全局平均池化层和Softmax层得到行为的置信度,获得矿工行为预测结果.实验结果表明:①MEST-GCN的参数量降低至1.87 Mib;②在以交叉主体和交叉视角为评价标准的公开数据集NTU60上,采用Lite-HRNet提取 2D人体关键点坐标,基于Lite-HRNet和MEST-GCN的矿工行为识别模型的准确率分别达 88.0%和 92.6%;③在构建的矿工行为数据集上,基于Lite-HRNet和MEST-GCN的矿工行为识别模型的准确率达 88.5%,视频处理速度达18.26帧/s,可以准确且快速地识别矿工的动作类别.
关键词：矿工行为识别人体关键点提取骨架序列图卷积轻量化姿态估计网络特征融合多维特征融合注意力模块
分类号：TD67(矿山电工)
资助基金：国家自然科学基金(51804249)
论文发表日期：2024-11-10
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：9( 34-42 )
英文信息