基于Scrapy框架的电影数据爬取和可视化分析
王嘉宝
雒伟群
西藏民族大学信息工程学院,陕西 咸阳 712082
摘要：Scrapy框架是Python封装好提供的一个明星框架,可以帮助使用者更加合理,更加高效的获取数据,分析数据,利用数据来产生价值.文章讨论了 Scrapy网络爬虫框架的基本工作原理与其优点,论述了 Scrapy框架的安装方法,并利用Scrapy框架对1905电影网上的电影数据进行了爬取,得到了 801部电影数据,然后将这些数据保存到本地的MySQL数据库中.通过对内地和欧美地区的电影数据进行可视化分析,得出了电影类型(动作、爱情、喜剧、战争、动画、科幻)与评分之间的关系,以及电影上映年份(2011-2021)与评分之间的关系.结果表明:动作、战争、动画三类电影,我国内地平均评分高于欧美地区;在2011-2021年之间的大部分时间段,我国内地的电影平均评分都高于欧美地区.
关键词：网络爬虫Scrapy框架电影数据可视化
资助基金：西藏自治区自然科学基金项目(XZ2018ZRG-66)
论文发表日期：2022-02-28
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：5( 64-68 )