Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试.
其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 后台也应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫.
Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如baseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持.
二、Scrapy五大基本构成:Scrapy框架主要由五大组件组成，它们分别是调度器(Scheduler)、下载器(Downloader)、爬虫（Spider）和实体管道(Item Pipeline)、Scrapy引擎(Scrapy Engine)。下面我们分别介绍各个组件的作用。
(1)、调度器(Scheduler):调度器，说白了把它假设成为一个URL（抓取网页的网址或者说是链接）的优先队列，由它来决定下一个要抓取的网址是 什么，同时去除重复的网址（不做无用功）。用户可以自己的需求定制调度器。
(2)、下载器(Downloader):下载器，是所有组件中负担最大的，它用于高速地下载网络上的资源。Scrapy的下载器代码不会太复杂，但效率高，主要的原因是Scrapy下载器是建立在twisted这个高效的异步模型上的(其实整个框架都在建立在这个模型上的)。
(3)、 爬虫（Spider）:爬虫，是用户最关心的部份。用户定制自己的爬虫(通过定制正则表达式等语法)，用于从特定的网页中提取自己需要的信息，即所谓的实体(Item)。 用户也可以从中提取出链接,让Scrapy继续抓取下一个页面。
(4)、 实体管道(Item Pipeline):实体管道，用于处理爬虫(spider)提取的实体。主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。
(5)、Scrapy引擎(Scrapy Engine):Scrapy引擎是整个框架的核心.它用来控制调试器、下载器、爬虫。实际上，引擎相当于计算机的CPU,它控制着整个流程。
三、整体架构图本图按顺序说明整个程序执行时候发生的顺序。
注意在调用下载器时，往往有一个下载器中间件，使下载速度提速。
官网架构图
四、Scrapy安装
- 引擎从调度器中取出一个链接(URL)用于接下来的抓取
- 引擎把URL封装成一个请求(Request)传给下载器
- 下载器把资源下载下来，并封装成应答包(Response)
- 爬虫解析Response
- 解析出实体（Item）,则交给实体管道进行进一步的处理
- 解析出的是链接（URL）,则把URL交给调度器等待抓取
widows ，打开一个cmd，输入pip install scrapy，前提是你装了pip。
五、Scrapy常用命令 全局命令1-startproject
创建一个新的Scrapy项目：
scrapy startproject[project_dir] 例如：scrapy startproject Crawler51job
【注意】项目名称不能以数字开头
2-genspider
在当前文件夹或者当前项目，创建一个新的爬虫文件
scrapy genspider [-t template]例如：scrapy genspider -t basic spider51job 51job.com
其他template参数见帮助文档
3-runspider
运行一个爬虫文件
scrapy runspider例如：scrapy runspider test51job.py
4-fetch
获取指定的URL，并且能够显示出获取的过程
scrapy fetch例如：scrapy fetch https://www.baidu.com
5-view
在浏览器中打开指定的URL
scrapy viewscrapy view https://www.baidu.com
6-version
打印出Scrapy版本号
scrapy version [-v] scrapy version -v项目命令
1-crawl
运行爬虫项目
scrapy crawl例如：scrapy crawl spider51job [--nolog]
2-bench
测试本地硬件性能
scrapy bench
3-list
列出当前项目下的所有爬虫文件
scrapy list
