结合自监督深度估计的多任务交叉域迁移语义分割
李钊屹1
石朝侠1
王燕清2
1.南京理工大学计算机科学与工程学院 南京 2100942.南京晓庄学院信息工程学院 南京 211171
摘要：基于监督学习的视觉语义分割通常需要大量的样本标注,使用迁移学习可以提升分割模型在不同域下的泛化能力.大多数域迁移语义分割方法只利用了源域的语义标签,而忽略了其他的可用信息.考虑到图像语义和深度信息可能存在内在关联,提出了一种结合自监督深度估计的域迁移语义分割方法.该方法由预测网络模块和域间对齐网络模块两个模块组成.预测网络的语义分割分支基于多尺度融合的网络模型,深度估计和位姿估计分支通过帧间一致性构建有效监督,与此同时,各预测子网络使用共同的编码网络,用于提取多任务共同特征.使用生成对抗网络实现域间对齐,通过模糊原域和目标域预测结果的差异实现域间迁移,并在此基础上显式构建语义与深度信息的熵映射作为对抗判别器输入,进一步提高多任务交叉有效性.最终实验结果在Cityscapes、KITTI、SYNTHIA等多个数据集上进行了迁移测试,在SYNTHIA作为原域、Cityscapes作为目标域的数据集下取得了62.8%的mIoU优于现有方法DADA[8];在CARLA作为原域、KITTI作为目标域的数据集下取得了52.2%的mIoU证明了方法的有效性.
关键词：语义分割深度估计卷积神经网络迁移学习
分类号：TP391(计算技术、计算机技术)
论文发表日期：2025-10-20
在线出版日期：2026-01-16（本平台首次上网日期，不代表文献的发表时间）
页数：6( 2703-2707,2753 )
英文信息