一种基于DWConvLSTM与局部敏感哈希注意力的视频摘要方案
朱頔1
滕晓宇1
王刚1
许文丽1
樊懿雯1
何勇2
张清1
1.西安财经大学信息学院 陕西西安 710100;智财协同可信计算陕西省高等学校重点实验室 陕西西安 7101002.中国电建集团西北勘探设计研究院有限公司 陕西西安 710065
摘要：针对现有视频摘要算法存在特征敏感性不足、特征提取不够细腻、算法复杂性高等问题,文章基于深度可分离卷积(DWConv)、卷积长短期记忆网络(ConvLSTM)、多头注意力(Multi-Attention)与局部敏感哈希(LSH),共同设计一种轻量级视频摘要方案(DWCH-Attention).在这一方案中,为降低算法复杂性,通过改进ConvLSTM并结合DWConv搭建DWConvLSTM,再将其与注意力机制结合以提取全局特征;为提升特征提取细腻程度及算法对特征的敏感程度,借助局部敏感哈希(LSH)与交叉注意力机制设计局部特征提取方法;为进一步强化特征,设计以查询为驱动的特征融合方法,实现全局与局部特征的融合.为验证方案的有效性与可行性,将方案在TVSum与SumMe两个数据集上开展实验验证,结果表明,该方案在交叉验证、消融实验及对比分析中均表现出较好的性能.
关键词：DWConvConvLSTMMulti-Attention局部敏感哈希视频摘要
资助基金：陕西省自然科学基础研究计划项目(2023-JC-ZD-38)陕西省社会基金项目(2020F002)陕西省提升公众科学素质研究计划项目(2021PSL09)
论文发表日期：2025-09-25
在线出版日期：2026-05-22（本平台首次上网日期，不代表文献的发表时间）
页数：5( 64-68 )