基于二阶时空自适应的小样本视频行为识别方法
张冰冰
李海波
马源晨
张建新
大连民族大学 计算机科学与工程学院,辽宁 大连 116650
摘要：目的 在小样本视频行为识别的研究领域中,现有方法普遍面临全局时空信息处理不足的挑战.这些方法通常依赖大量的标注数据训练深度模型,但在只有少量训练样本可用的情况下,它们往往难以有效捕捉和利用视频数据中的时空动态.方法 针对此问题,提出一种新的包含时空自适应模块和协方差聚合模块的二阶时空自适应网络架构,以提升小样本学习在视频行为识别任务上的准确性和鲁棒性.时空自适应模块能根据视频内容的变化动态聚合局部和全局时空信息,从而优化全局信息的提取流程.协方差聚合模块利用二阶统计方法增强视频的全局时空特征表达,提供更加鲁棒的视频全局表征.结果 在4个主流的视频行为识别基准数据集上进行广泛实验,结果表明,所提方法在Something-Something V2数据集上的1-shot和5-shot任务中,准确率分别达到52.2%和72.4%,显著超过基线模型.在Kinetics100,UCF101和HMDB51数据集上,同样表现出色,充分证明了其在小样本视频行为识别中的有效性和实用性.结论 提出的二阶时空自适应网络有效提升了小样本视频行为识别的准确性和鲁棒性,特别是在处理复杂时空信息方面表现出显著优势,为该领域提供了一种创新且有效的解决方案.
关键词：小样本学习视频行为识别时空表征学习时序建模协方差聚合
分类号：TP273(自动化技术及设备)
资助基金：国家自然科学基金(61972062)吉林省科技发展计划项目(20230201111GX)辽宁省应用基础研究计划项目(2023JH2/101300191,2023JH2/101300193)先进设计与智能计算省部共建教育部重点实验室开放课题(ADIC2023ZD003)
论文发表日期：2025-09-30
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：9( 43-51 )
英文信息