参数高效化微调的双分支视频动作识别方法
王小伟1
沈燕飞2
邢庆君2
1.郑州大学体育学院 体育大数据中心,河南 郑州 4500522.北京体育大学 体育工程学院,北京 100084
摘要：目的 面向视频的AI智慧体育对于个性化训练、定制化运动分析具有重要的现实价值.现有的视频动作分析框架依赖于"预训练-微调"的范式将图像预训练模型迁移到视频时序建模中,然而,随着模型尺寸和预训练规模的不断扩大,一方面直接微调需更新全部参数导致计算成本高昂,另一方面难以基于图像大模型实现视频时空特征的建模.方法 为此,提出一种基于大规模图像预训练模型的双分支视频动作识别框架TBN(two branch network),其包含时空解耦的双分支架构,分别处理静态背景特征和时序动态动作特征.在迁移中,预训练权重保持冻结,仅通过对额外增加的Prompt和Adaptor中的少量参数进行训练,实现从图像预训练模型到视频时序建模的参数高效化迁移.此外,针对现有基准数据集在高速运动场景的不足,构建一个大规模体育运动数据集Kinetics-Sports,包含42个运动类别(含篮球、滑冰、跨栏等),提供更严格的测试基准.结果 在Kinetics-Sports,UCF101和HDBM51数据集上的实验结果表明,提出的方法在3个数据集上的识别准确率分别达到97.8%,78.0%,74.2%,优于目前几个数据集上最先进的方法,且参数量仅有12 MB,计算复杂度低于现有主流算法.结论 提出的模型在精度-效率方面取得了更好的平衡,提升了体育运动动作检测的准确率和推理效率,为视觉大模型视频迁移提供了高效解决方案.
关键词：视频动作识别预训练模型参数高效化微调双分支网络时空建模
分类号：TP391(计算技术、计算机技术)
资助基金：国家自然科学基金(72071018)河南省科技攻关计划项目(212102310264)
论文发表日期：2025-07-31
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：8( 21-28 )
英文信息