基于Resnet-Bert网络模型的跨媒体检索方法
闫盈盈
曹扬
洒科进
支婷
中电科大数据研究院有限公司 贵阳 550022;提升政府治理能力大数据应用技术国家工程研究中心 贵阳 550022
摘要：针对跨模态检索研究中模态较少以及效果不佳问题,提出一种基于Resnet-Bert网络模型的跨媒体检索方法.利用图像识别较佳的卷积神经网络模型Resnet与文本处理效果较佳的Bert模型,在图像、视频、音频和文本四种媒体类型数据之间建立跨媒体统一表征类别标签空间.通过不同模态信息的迁移学习与关联挖掘,实现了更高的跨媒体检索精度.在公开数据集上进行实验,采用平均精度均值指标作为评价指标.试验表明,提出的方法在跨媒体检索效果上具有提升作用.
关键词：跨媒体检索ResnetBert类别标签统一表征
分类号：TP391(计算技术、计算机技术)
资助基金：国家自然科学基金(U19B2020)天津市科技计划项目(18ZXZNGX00370)海南省重大科技计划项目(ZDKJ2021051)
论文发表日期：2023-02-20
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：6( 390-395 )
英文信息