基于ASBC模型的藏文自动分词方法研究
尹宗鹤
尼玛次仁
于韬
拥措
西藏大学信息科学技术学院 拉萨 850000;西藏大学藏文信息技术教育部工程研究中心 拉萨 850000;西藏自治区藏文信息技术人工智能重点实验室 拉萨 850000
摘要：藏文分词是藏文自然语言处理的前提工作,其效果将影响藏文自然语言处理的下游任务.神经网络的兴起,使结合预训练语言模型的深度学习方法成为分词研究的主流.针对传统神经网络获取语义信息有限的问题,论文利用大规模藏文语料库构建ALBERT预训练语言模型,同时引入藏文音节特征融合的方法,提出了基于深度学习的ALBERT预训练与音节特征融合的双向长短时记忆条件随机场藏文分词模型(ALBERT-Syllable-BiLSTM-CRF,ASBC).实验在多主题数据集上进行,主要验证了ALBERT预训练语言模型和音节特征融合对藏文分词的有效性,最终模型分词效果得到明显提升.
关键词：藏文自动分词预训练ALBERT音节特征融合
分类号：TP391(计算技术、计算机技术)
资助基金：科技部重点研发计划(2017YFB1402202)西藏自治区科技创新基地自主研发项目(XZ2021HR002G)西藏大学研究生高水平人才培养计划项目(2020-GSP-S174)
论文发表日期：2023-06-20
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：5( 1227-1230,1237 )
英文信息