基于双缓冲的分布式爬虫调度策略的设计与研究
卢照1
师军2
张耀午1
王琦1
1.运城学院数学与信息技术学院 运城 0440002.陕西师范大学计算机科学学院 西安 710100
摘要：互联网的高速发展使得大数据的应用越来越广泛,使得分布式爬虫处于愈来愈重要的地位.目前主流开源爬虫框架在网络通信开销上优化甚少,缺乏一个有效的方案来减少网络开销问题.论文利用对等式架构的爬行器既是任务的消费者又是任务的生产者,提出了任务尽量在本地执行的优化方向.基于双缓冲技术实现的大粒度任务动态负载均衡策略,能有效地降低通信频次,基于高速缓存原理的URL判重方案,以"空间换时间"的方式,有效地提升爬虫URL判重性能.实验结果表明,该策略具有良好的扩展性、鲁棒性,能使分布式系统的性能优势得到更为充分的发挥.
关键词：分布式爬虫动态负载均衡Scrapy-Redis双缓冲机制
分类号：TP301.6(计算技术、计算机技术)
资助基金：运城学院应用研究项目(XK-2018039/CY-2019038)
论文发表日期：2022-08-20
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：5( 1686-1690 )
英文信息