基于全文检索的文本相似度算法应用研究
王格1
吴钊2
李向3
1.湖北文理学院数学与计算机科学学院 襄阳 441053; 中国地质大学 武汉 计算机学院 武汉 4300742.湖北文理学院数学与计算机科学学院 襄阳 4410533.中国地质大学 武汉 计算机学院 武汉 430074
摘要：在大量的文本数据中，针对不能快速有效地提取或查找有用信息及知识这个问题，以文本相似度计算为基础的文本数据挖掘成为数据挖掘研究领域里的一个重要的课题。论文主要研究两种不同的方法 VSM 余弦算法和 Simhash来实现文本相似度的计算，首先采用传统的 VSM 余弦算法和 Simhash 算法，按照余弦公式通过内积最终计算出文本间的相似度大小 n（0＜ n＜1），最后为了实现余弦算法并提高系统效率，使用了大量容器如 Map 、Set 和 Vector 以及内积算法等。实验结果表明，余弦算法 VSM 由于其局限性不适合进行文本的相似度计算，而 Simhash 算法则具有高准确度以及可行性。
关键词：文本相似度余弦 VSMSimhash
分类号：TP301.6(计算技术、计算机技术)
资助基金：国家自然科学基金(61172084)
论文发表日期：2016-01-01
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：6( 567-571,614 )
英文信息