网页查重算法Shingling和Simhash研究
马成前
毛许光
1.武汉理工大学计算机科学与技术学院,武汉,4300702.武汉理工大学计算机科学与技术学院,武汉,430070
摘要：随着网络信息爆炸式增长,人们对信息检索有了更高的要求.在海量的网页中,有很多重复的网页.网页查重可以节省网络带宽,降低存储成本,提高搜索引擎的性能.在网页查重算法中shingling和simhash是比较重要和经典的算法,文中对两种算法做了介绍,包括算法的原理,存在的问题及改进等.
关键词：网页查重搜索引擎shinglingsimhash
分类号：TP301.6(计算技术、计算机技术)
论文发表日期：2009-01-01
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：4( 15-17,108 )
英文信息