- 1.安装
- 2.创建项目
- 3.创建爬虫
- 爬虫文件的介绍
- 完善爬虫
- 总结
- 命令模式：sudo apt-get install scrapy
- pip ：pip install scrapy
scrapy startproject <项目名称>
3.创建爬虫scrapy genspider <爬虫名字> <允许爬取的域名>
**爬虫名字:**作为爬虫运行时的参数
**允许爬取的域名：**为对于爬虫设置的爬取范围，设置之后用于过滤要爬取的url，如果爬取的url与允许的域不同则被过滤掉。
三个参数：name 、allowed_domains 、start_urls
一个方法：parse方法
- 修改起始url
- 检查修改允许的域名
- 在parse方法中实现爬取的逻辑
- scrapy的安装：pip install scrapy
- 创建scrapy的项目: scrapy startproject myspider
- 创建scrapy爬虫：在项目目录下执行 scrapy genspider itcast itcast.cn
- 运行scrapy爬虫：在项目目录下执行 scrapy crawl itcast
- 解析并获取scrapy爬虫中的数据：
5.1 response.xpath方法的返回结果是一个类似list的类型，其中包含的是selector对象，操作和列表一样，但是有一些额外的方法
5.2. extract() 返回一个包含有字符串的列表
5.3. extract_first() 返回列表中的第一个字符串，列表为空没有返回None - scrapy管道的基本使用:
6.1. 完善pipelines.py中的process_item函数
6.2. 在settings.py中设置开启pipeline - response响应对象的常用属性
7.1. response.url：当前响应的url地址
7.2. response.request.url：当前响应对应的请求的url地址
7.3. response.headers：响应头
7.4. response.requests.headers：当前响应的请求头
7.5. response.body：响应体，也就是html代码，byte类型
7.6. response.status：响应状态码
