基于多特征融合时差网络的带式输送机区域违规行为识别
马天1
姜梅1
杨嘉怡1
张杰慧1
丁旭涵2
1.西安科技大学计算机科学与技术学院,陕西西安 7100542.西安科技大学安全科学与工程学院,陕西西安 710054
摘要：现有的煤矿井下带式输送机区域违规行为(如攀爬、跨越、倚靠带式输送机等)识别方法对特征提取不充分、难以考虑到行为时间差异,导致违规行为识别准确率不高.针对该问题,基于ResNet50模型,提出了一种基于多特征融合时差网络(MFFTDN)的带式输送机区域违规行为识别方法,将多特征融合和时间差分进行结合,对不同时间段的行为进行多特征融合.首先在原始模型ResNet50的第2和第3阶段引入短期多特征融合(STMFF)模块,将来自多个连续帧的时间和特征拼接在一起,再对融合后的特征进行时间差分计算,即相邻帧的特征差值,以在短期内捕捉局部动作变化.然后在原始模型ResNet50的第4阶段引入长期多特征融合(LTMFF)模块,将来自连续帧的短期多特征拼接在一起,再对相邻时间点的特征进行时间差分计算,以获取行为的长期多特征.最后将融合后的特征进行分类,输出识别结果.实验结果表明:①该方法的平均精度和准确率较原始模型ResNet50分别提高了 8.18％和8.47％,说明同时引入STMFF和LTMFF模块能够有效提取到不同时间段的多特征信息.②该方法在自建煤矿井下带式输送机区域违规行为数据集上的准确率为89.62％,平均精度为89.30％,模型的参数量为197.2 ×106.③Grad-CAM热力图显示,该方法能够更有效地关注到违规行为的关键区域,精确捕捉到井下带式输送机区域的违规行为.
关键词：带式输送机不安全行为违规行为识别短期多特征融合长期多特征融合多特征融合时差网络时间差分
分类号：TD634(矿山电工)
资助基金：国家重点研发计划(2021YFB4000905)国家自然科学基金(62101432)国家自然科学基金(62102309)陕西省自然科学基础研究计划项目(2022JM-508)
论文发表日期：2024-07-10
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：8( 115-122 )
英文信息