安装命令:
pip install scrapy
安装完成后,在控制台输入命令 scrapy bench;不报错则表示安装成功。
windows下安装时,可能出现以下错误:
错误1:VC++ 14.0 Twisted
解决方案:下载Twisted的whl文件,离线安装
下载网址: https://www.lfd.uci.edu/~gohlke/pythonlibs/
下载完成后,使用如下命令安装:pip install ****.whl
错误2:运行scrapy bench时,报win32错误
解决方案:安装win32包, pip install pywin32
2 Scrapy原理介绍具体步骤如下:
- 爬虫文件发出请求,交给调度器;
- 调度器将接收到的请求发给调度器,调度器负责任务分配
- 调度器将要执行的任务发给引擎
- 引擎将任务交给下载器
- 下载器从互联网响应到HTML网页源码
- 下载器将响应到的源码发给引擎
- 引擎将获得响应返给爬虫文件
- 爬虫文件提取目标数据,并把数据交给引擎
- 引擎将数据发送给管道文件;如果接收到的是数据,则



