- 1、概念
- 2、工作流程
- 2.1 基本爬虫流程
- 2.2 基本爬虫模块关系
- 2.3 Scrapy工作流程
- 3、Scrapy中每个模块的具体作用
Scrapy是一个Python编写的开源网络爬虫框架，它是一个被设计用于爬取网络数据、提取结构性数据的框架。
Scrapy 使用了Twisted异步网络框架，可以加快我们的下载速度。
官方文档地址：Scrapy
2、工作流程- 爬虫中起始的url构造成request对象 —> 爬虫中间件 —> 引擎 —> 调度器
- 调度器把request —> 引擎 —> 下载中间件 —> 下载器
- 下载器发送请求，获取response响应 —> 下载中间件 —> 引擎 —> 爬虫中间件 —> 爬虫
- 爬虫提取url地址，组装成request对象 —> 爬虫中间件 —> 引擎 —> 调度器，重复步骤2
- 爬虫提取数据 —> 引擎 —> 管道处理和保存数据
