网络爬行技术研究
关慧芬
师军
马继红
1.陕西师范大学计算机科学学院,陕西,西安,7100622.陕西师范大学计算机科学学院,陕西,西安,7100623.陕西师范大学计算机科学学院,陕西,西安,710062
摘要：阐述了基于整个Web的爬行器、增量式的爬行器、基于主题的爬行器等不同类型网络爬行器的功能及优缺点;分析了近年来国内外网络爬行器的遍历算法,包括深度优先算法、广度优先算法、主题优先算法等.分析结果表明:基于遗传算法的爬行策略能够有效地加快抓取网页的速度和扩大搜索范围.
关键词：爬行器广度优先算法主题优先策略遗传算法
分类号：TP391(计算技术、计算机技术)
论文发表日期：2008-01-01
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：5( 69-73 )
英文信息