一种基于Transformer模型的特征增强算法及其应用研究
李俊华
段志奎
于昕梅
佛山科学技术学院电子信息工程学院,广东佛山 528225
摘要：Transformer模型在自动语音识别(ASR)任务中展现出优秀的性能,但在特征提取方面存在两个问题:一是模型集中于全局特征交互信息提取,忽略了其他有用的特征信息,如局部特征交互信息;二是模型对低层特征交互信息的利用不够充分.为了解决这两个问题,提出了卷积线性映射(CMLP)模块以强化局部特征交互,并设计低层特征融合(LF)模块来融合高低层特征.通过整合这些模块,构建了CLformer模型.在两个中文普通话数据集(Aishell-1 和HKUST)上进行实验,结果表明,CLformer显著提升了模型性能,在Aishell-1上较基线提高0.3%,在HKUST上提高0.5%.
关键词：Transformer模型自动语音识别特征增强局部特征特征融合
分类号：TP18(自动化基础理论)
资助基金：广东省普通高校重点实验室资助项目(2021KSYS008)
论文发表日期：2024-05-30
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：8( 27-34 )
英文信息