基于混合分词与动态平滑的藏文N-gram语言模型优化及性能分析
曼拉才让
安见才让
仁欠扎西
青海民族大学智能科学与工程学院 青海西宁 810007;藏文信息处理软件研究所 青海西宁 810007
摘要：藏语自然语言处理的发展是推动藏语言信息化进程的核心支撑.针对藏语屈折性与黏着性复合形态特征,文章提出一种融合藏语特性优化混合分词策略与"黏着性因子α"动态平滑技术的语言模型构建方案.基于SRILM工具与Python并行计算技术,完成1～7元N-gram模型的高效训练与系统评估,重点分析不同N值对模型性能的影响.实验结果显示,综合模型困惑度(PPL)与文本生成质量,当N值处于3～6范围时模型表现较优,其中N=4时效果最佳.该系统在分词灵活性、平滑技术适配性及计算效率上实现显著提升,不仅为藏语这一低资源、形态复杂语言的N-gram模型优化及基础参数确立提供了有效路径,也为后续更复杂藏语神经网络模型的研究奠定了坚实基准.
关键词：藏语NLPN-gram模型混合分词低资源语言黏着性因子
资助基金：青海民族大学校级本硕博(学生)项目(09M2024001)
论文发表日期：2026-02-25
在线出版日期：2026-05-22（本平台首次上网日期，不代表文献的发表时间）
页数：5( 54-58 )