基于扩散模型的手物交互图像生成与优化
刘畅1
姚剑敏2
陈恩果1
严群1
1.福州大学物理与信息工程学院 福建 福州 3501082.福州大学物理与信息工程学院 福建 福州 350108;晋江博感公司 福建晋江 362200
摘要：手物体交互图像的生成是计算机视觉和人机交互领域的一个重要挑战.准确生成这类图像对于理解物体可供性、改进人机交互系统以及增强虚拟现实体验至关重要.然而,现有方法在处理复杂物体、罕见姿势和遮挡关系时仍面临诸多困难,常常导致生成的手部形状、位置和姿态存在不自然或失真的情况.鉴于此,文章提出了一种基于扩散模型的两阶段方法,用于从单一RGB物体图像生成手物体交互图像.该方法包括两个关键组件:MaskNet和FusionNet.其中,MaskNet负责预测手物体交互的空间布局;FusionNet则基于预测的布局生成详细的交互图像.文章利用扩散模型的强大生成能力,在潜在空间中进行高效的图像生成.实验结果表明,该方法在生成真实、多样化的手物交互图像方面表现出色,在FID、LPIPS和UPR等指标上均表现良好.此外,该方法还展现出良好的泛化能力,能够处理未见过的物体类别和复杂场景.
关键词：手物交互图像合成扩散模型物体可供性布局预测
资助基金：国家自然科学基金(62175032)福建省杰出青年基金(2024J010046)产业化项目(2024G020)闽都创新实验室产学研融合发展专项(2024CXY106)
论文发表日期：2025-01-27
在线出版日期：2026-05-22（本平台首次上网日期，不代表文献的发表时间）
页数：4( 33-36 )