基于双流时空注意力和时移相融合的行为识别算法
苏树智
胡天良
许增宝
安徽理工大学 计算机科学与工程学院,安徽 淮南 232001
摘要：针对基于卷积神经网络(convolutional neural networks,CNN)的行为识别在捕捉时间上下文上能力不足,且容易受到摄像机运动、速度变化和背景活动影响导致时序建模效率低下的问题,提出一种基于双流时空注意力和时移相融合(dual-stream spatio-temporal attention and temporal shift,DSSTA-TS)的行为识别算法.算法通过建立通道相关性和时间交互的模型来学习视频流中的时间特征.首先,算法定义了一种基于双流时空的注意力模块,在该模块中,时间注意力通过学习位置敏感的重要性权重来识别局部语义信息,空间注意力用于抑制空间背景信息以聚合时空特征,从而降低多元化运动数据对行为识别判断的影响.其次使用时间位移模块,对局部运动特征的时间信息进行捕捉,进一步提升网络的时间特征学习能力,提升行为识别的准确率.实验结果表明,算法在识别的准确率上有一定提升,在UCF101 和HMDB51 数据集上分别达到 94.60％和 74.15％的准确率,能够应用于智能视频监控、人机交互、公共安全等领域.
关键词：行为识别时间位移双流时空注意力稀疏采样局部信息时序建模上下文信息
分类号：TP394.1(计算技术、计算机技术)
资助基金：安徽省高等学校科学研究重大项目(2022AH040113)
论文发表日期：2023-06-20
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：8( 191-197,251 )
英文信息