基于改进隐马尔可夫模型的藏文分词研究
贡保加
安见才让
青海民族大学智能科学与工程学院 青海西宁 810007
摘要：藏文分词是藏语信息处理领域的基础课题,分词是将原始文本数据切分成词的一种技术.分词技术可以应用到自然语言处理领域的许多下游任务中,诸如机器翻译、语义标注、文本分类、自然语言推理等,分词是自然语言处理中极为关键的环节.文章基于隐马尔可夫模型对藏文分词进行研究,首先通过语料库训练模型,获取相应的位置信息和概率,其次在传统隐马尔可夫模型的基础上采集了音节与音节之间的特征信息,结合已有的词的位置信息进行测试.测试结果表明,最终准确率在86.05％,相较于传统的隐马尔可夫模型提高了2.3％.
关键词：藏文分词隐马尔可夫模型分词算法未登录词
资助基金：青海民族大学校级本硕博(学生)项目(09M2023004)
论文发表日期：2025-03-25
在线出版日期：2026-05-22（本平台首次上网日期，不代表文献的发表时间）
页数：4( 64-67 )