基于多层卷积神经网络特征和双向长短时记忆单元的行为识别
葛瑞1
王朝晖1
徐鑫1
季怡1
刘纯平2
龚声蓉3
1.苏州大学计算机科学与技术学院,江苏苏州,2150002.苏州大学计算机科学与技术学院,江苏苏州215000;吉林大学符号计算与知识工程教育部重点实验室,吉林长春130012;软件新技术与产业化协同创新中心,江苏南京2100463.常熟理工学院计算机科学与工程学院,江苏常熟215500;苏州大学计算机科学与技术学院,江苏苏州215000
摘要：鲁棒的视频行为识别由于其复杂性成为了一项极具挑战的任务.如何有效提取鲁棒的时空特征成为解决问题的关键.在本文中,提出使用双向长短时记忆单元(Bi-LSTM)作为主要框架去捕获视频序列的双向时空特征.首先,为了增强特征表达,使用多层的卷积神经网络特征代替传统的手工特征.多层卷积特征融合了低层形状信息和高层语义信息,能够捕获丰富的空间信息.然后,将提取到的卷积特征输入Bi-LSTM,Bi-LSTM包含两个不同方向的LSTM层.前向层从前向后捕获视频演变,后向层反方向建模视频演变.最后两个方向的演变表达融合到Softmax中,得到最后的分类结果.在UCF101和HMDB51数据集上的实验结果显示本文的方法在行为识别上可以取得较好的性能.
关键词：行为识别卷积神经网络递归神经网络双向递归神经网络
分类号：TP273(自动化技术及设备)
论文发表日期：2017-01-01
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：7( 790-796 )
英文信息