基于Transformer融合全局和局部特征的显著性检测方法
葛奕辰1
张明2
1.伯明翰大学心理学院,英国伯明翰B15 2TT2.东北师范大学信息科学与技术学院,长春 130117
摘要：针对现有显著性目标检测方法在全局与局部特征融合方面效率低下的问题,提出了视觉变换器-深度变换器解码器(vision transformer-deep transformer decoder,ViT-DTD)显著性检测方法.该方法首先通过视觉变换器对输入图像进行分块,在浅层捕获局部特征,在深层聚合全局特征.然后,通过逐层融合浅层的局部特征和深层的全局特征,结合密集连接策略,确保特征信息在解码过程中被充分利用.最后,通过逐层上采样对融合后的特征进行解码,以恢复图像的高分辨率显著性图.结果表明,该方法在2个基准测试集上的平均绝对误差(mean absolute error,MAE)相比标签解耦框架(label decoupling framework,LDF)方法平均降低了 14.0％,加权F度量平均提高了 3.7％,结构度量(structure-measure,S)指标平均提高了 2.7％.该方法在复杂场景中的表现相比其他对比方法更加优越,能够提供更为精确和稳定的显著性检测方案.
关键词：显著性检测变换器局部特征全局特征ViT-DTD
分类号：TP391.41(计算技术、计算机技术)
资助基金：国家重点研发计划(2021YFA1003400)
论文发表日期：2024-12-20
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：6( 464-469 )
英文信息