图文跨模态检索研究综述
张振兴
王亚雄
合肥工业大学 计算机与信息学院,合肥 230000
摘要：图文跨模态检索作为跨模态计算研究的一个核心课题,一直受到学术界和工业界的高度重视.在过去的几十年里,随着深度学习技术的发展,特别是深度神经网络、Transformer架构以及图文对比学习等关键技术的广泛应用与革新,图文跨模态检索领域取得了显著的进展和突破.本文在系统梳理图文跨模态检索的发展轨迹的基础上,重点关注其建模过程中的5个关键步骤,即训练数据准备、数据输入形式设计、图文特征抽取机制的选择、图文建模方法的选择以及优化目标的确立.为客观评估现有模型在跨模态检索任务上的性能水平,在多个权威的标注评测数据集上比较各类模型的表现,以揭示当前跨模态检索方法的实际效能边界.通过对各关键步骤发展历程的分析与总结,结合当前图文跨模态检索领域的研究成果,对未来跨模态学习的发展趋势做出预测与展望.研究结果表明:尽管当前的图文跨模态检索技术已取得显著进步,但仍存在进一步提升的空间和潜力,研究者可从精细化检索、经济的预训练方法、新的图文交互方式、AIGC赋能的图文预训练4个方向进行改进.
关键词：图文检索跨模态学习深度学习注意力机制
分类号：TP391.3(计算技术、计算机技术)
论文发表日期：2024-04-28
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：14( 23-36 )
英文信息