基于NNC-EPNet的多模态融合3D目标检测
冯霞1
梁宇龙2
卢敏1
左海超2
1.中国民航大学民航智慧机场理论与系统重点实验室,天津 300300;中国民航大学科技创新研究院,天津 3003002.中国民航大学民航智慧机场理论与系统重点实验室,天津 300300;中国民航大学计算机科学与技术学院,天津 300300
摘要：针对目前多模态融合3D目标检测方法难以有效融合目标对应图像特征的问题,通过引入近邻修正(Nearest Neighbor Correction,NNC)方法减轻目标点云稀疏和非目标点云的影响,提出一种多模态3D目标检测方法NNC-EPNet.首先,设计近邻修正模块NNC,利用增强后的近邻点云特征修正采样点云,减少点云数据中的噪声,增强目标点云特征,从而更好地融合目标图像特征;其次,设计基于Transformer的多模态特征融合编码器(Mutil-Modal Fusion Transformer,MFT),采用交叉注意力机制融合图像特征和点云特征,并且引入点云注意力机制聚合全局上下文信息,以提升特征表达能力;最后,分别在自动驾驶标准数据集KITTI和Waymo上进行对比实验.实验结果表明:NNC-EPNet方法在KITTI数据集上的平均精度均值达到 84.47%,与基线算法相比,在容易、中等和困难3种难度场景下的检测精度分别提高了 2.00%、3.25%和5.68%;在Waymo数据集上的加权平均精度达到74.48%,与基线算法相比,提升了2.49%.研究结果证明了设计的两个模块NNC和MFT能够有效提升3D目标检测性能.
关键词：3D目标检测多模态特征融合点云修正注意力机制
分类号：TP391.41(计算技术、计算机技术)
论文发表日期：2024-10-28
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：10( 78-87 )
英文信息