融合语义分割和跳跃连接的对抗学习红外与可见光图像融合
刘冬旭
许光宇
安徽理工大学 计算机科学与工程学院,安徽 淮南 232001
摘要：针对红外与可见光图像融合中存在目标信息减弱、细节信息不够丰富等问题,同时为了增强融合图像的语义信息保留能力,提出了融合语义分割和跳跃连接的红外与可见光图像融合(sematic segmentation-skip connections for infrared and visible image fusion,SS-SC-IVIF)对抗学习模型.在生成器端,通过语义分割获得带有语义信息的掩膜,利用掩膜将图像分为红外图像目标区域和可见光图像背景区域;利用2 幅源图像与语义掩模运算的结果构造跳跃连接,以提取更多的源图像特征信息;结合语义信息掩膜设计专门的损失函数来引导特征提取和重构.2 个判别器促使融合结果能够保留红外图像的强度信息和可见光图像的纹理信息.结果表明,在 6 个客观评价指标上,除了标准差(standard deviation,SD)指标以外,其他 5 个指标在荷兰应用科学研究组织(Netherlands organization for applied scientific research,TNO)数据集和道路数据集上均有提升,在熵(entropy,EN)指标上SS-SC-IVIF模型的平均值较对比模型的平均值提升了 3.7%,在结构相似指数(structural similarity,SSIM)指标上提升了 4.3%.该模型最大程度地保留了源图像的细节信息,明显提升了融合精度.
关键词：图像融合语义分割生成式对抗网络掩膜设计跳跃连接多尺度注意网络
分类号：TP391(计算技术、计算机技术)
资助基金：国家自然科学基金(61471004)安徽理工大学博士专项基金(ZX942)
论文发表日期：2025-09-20
在线出版日期：2025-09-24（本平台首次上网日期，不代表文献的发表时间）
页数：9( 396-404 )
英文信息