中药材行情数据的并行爬取方案
苏健光
赵颖
麦文武
胡宏蕾
庞锐华
陆钊
1.玉林师范学院计算机科学与工程学院 广西玉林 5370002.玉林师范学院计算机科学与工程学院 广西玉林 5370003.玉林师范学院计算机科学与工程学院 广西玉林 5370004.玉林师范学院计算机科学与工程学院 广西玉林 5370005.玉林师范学院计算机科学与工程学院 广西玉林 5370006.玉林师范学院计算机科学与工程学院 广西玉林 537000
摘要：随着互联网的快速发展,中药材数据信息量和相关服务也随之快速增长,准确地爬取所需要的信息变得越来越重要,因此互联网各种信息收集将面临着巨大的挑战和机遇.通过对中药材行情数据的研究,采用Scrapy框架下的分布式网络爬虫系统将原有的爬虫系统框架与Redis结合进行改进,然后将从网上爬取到的中药材行情数据信息存入MongoDB中,便于对数据进一步的处理和分析.结果表明基于Scrapy下的分布式网络爬虫系统在数据挖掘与数据处理方面都很高效稳定.
关键词：中药材行情数据网络爬虫Scrapy
资助基金：2017国家级大学生创新创业训练项目(201710606012)
论文发表日期：2018-01-01
在线出版日期：2026-05-22（本平台首次上网日期，不代表文献的发表时间）
页数：4( 27-30 )
英文信息