基于语义增强的单阶段文本生成图像方法
兰才俊1
姚剑敏2
胡海龙2
陈恩果1
严群1
1.福州大学物理与信息工程学院 福建 福州 3501082.福州大学物理与信息工程学院 福建 福州 350108;晋江市博感电子科技有限公司 福建 泉州 362216
摘要：文本到图像生成是一项极具挑战性的跨模态任务,目标是根据给定文本描述生成对应的图像.尽管现阶段相关研究在视觉呈现方面效果优异,但仍存在细节表达不够精细、语义一致性欠佳等问题.基于此,文章提出了一种基于语义增强的生成对抗模型,将文本进行编码后送入条件增强模块进行处理,丰富文本语义特征.在生成网络中,添加一个自适应块,在仿射变换前将上一层的输出和文本语义信息输入自适应块进行进一步的信息增强.并通过引入对比损失,提高文本与生成图像之间的语义一致性.将这一方法在MSCOCO和CUB birds 200 两个数据集上进行训练测试,实验结果表明,与其他模型相比,性能得到了较高提升.
关键词：语义增强文本生成图像生成对抗网络对比损失
资助基金：国家自然科学基金(62175032)福建省杰出青年基金(2024J010046)
论文发表日期：2025-01-27
在线出版日期：2026-05-22（本平台首次上网日期，不代表文献的发表时间）
页数：5( 5-9 )