基于骨骼动作识别的交叉注意多尺度时空Transformer
高逸畅
林哲煌
广东工业大学自动化学院 广东 广州 510006
摘要：近年来,Transformer在计算机视觉各类任务中成效显著.但基于Transformer的方法在骨骼数据多尺度特征学习上存在局限,而多尺度时空特征蕴含着关键的全局与局部信息,这对于骨骼动作识别而言至关重要.为此,文章探索了骨骼序列在空间和时间维度上的多尺度特征表示,并提出了一种用于跨尺度特征融合的高效交叉注意力机制.此外,提出了一个多尺度特征提取和融合Transformer(multi-scale feature extraction and fusion transformer,MFEF-Former),可以分为两种类型:(1)用于空间建模的MFEF-SFormer,利用自注意力捕获关节间和身体部位间的相关性,然后利用交叉注意力进行多尺度空间特征融合,以建模关节和身体部位之间的相关性;(2)用于时间建模MFEF-TFormer,利用自注意力捕获多尺度时间特征,并通过交叉注意力融合多尺度特征.这两个组件在一个双流网络中结合,并在两个大型数据集NTU RGB+D和NTURGB+D12上进行了评估.实验表明,文章所提方法在基于骨骼的动作识别方面优于其他基于Transformer的方法.
关键词：动作识别Transformer人体骨架多尺度特征
论文发表日期：2025-09-25
在线出版日期：2026-05-22（本平台首次上网日期，不代表文献的发表时间）
页数：7( 43-49 )