我们之前用scrapy爬取过某网的段子，还记得怎么爬取吗？
爬虫网站代码(spiders/duanzi.py)：
import scrapy
# 这里需要导入items.py文件包
from duanziPro.items import DuanziproItem
class DuanziSpider(scrapy.Spider):
name = 'duanzi'
# allowed_domains = ['www.xxx.com']
start_urls = ['https://duanzixing.com/段子/']
def parse(self, response):
# 数据解析名称和内容
article_list = response.xpath('/html/body/section/div/div/article')
for article in article_list:
title = article.xpath('./header/h2/a/@title').extract_first()
note = article.xpath('./p[2]/text()').extract_first()
# 实例化一个item类型对象，将解析到的数据存储到该对象中
item = DuanziproItem()
item['title'] = title
item['note'] = note
# 将item对象提交给管道
yield item
item.py
import scrapy
class DuanziproItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
title = scrapy.Field()
note = scrapy.Field()
管道文件代码(pipelines.py)：
class DuanziproPipeline:
def process_item(self, item, spider):
print(item)
执行工程，打印数据如下：
数据看到了，但这只是一页，那怎么爬取多页呢？
有的同学就说了，这还不简单，直接加fro循环。
但有没有想过，管道的对象传递是yield，fro循环肯定行不通。
所以，这里我们引入了一个新的方式：手动请求发送。
手动请求发送
scrapy手动发送请求代码：
-
GET
yield scrapy.Request(url,callback)
callback:制定解析函数，用于解析数据。
-
POST
yield scrapy.FormRequest(url,callback,formdata)
formdata:字典，请求参数
代码实现：
我们先来创建一个新的工程：
- scrapy start hanReqPro
- cd hanReqPro
- scrapy genspider www.xx.com
然后修改配置文件等等
好了后我们先分析下网站。
我们看到翻页后的网址是https://duanzixing.com/段子/2/等，那么就可以定义一个url模板
# 通用的url模板 url = 'https://duanzixing.com/段子/%d/'
上面说了，需要一个callback函数,用于解析数据的实现。其实就是我们爬取一页时的数据解析函数parse:
def parse(self, response):
# 数据解析名称和内容
article_list = response.xpath('/html/body/section/div/div/article')
for article in article_list:
title = article.xpath('./header/h2/a/@title').extract_first()
note = article.xpath('./p[2]/text()').extract_first()
# 实例化一个item类型对象，将解析到的数据存储到该对象中
item = HandreqproItem()
item['title'] = title
item['note'] = note
# 将item对象提交给管道
yield item
第一页的数据是直接传递给了管道，爬取5页的话，我们需要一个递归！
我们先在函数外定义一个page_num:
# 因为第一页有了，所以我们从第二页开始 page_num = 2
然后我们写递归代码，让yield scrapy.Request(url,callback)执行指定次数:
# 直接写在parse函数里面。放在yield item下面
# 爬取剩下的4页
while self.page_num <= 5: # 结束递归的条件
new_url = format(self.url % self.page_num) # 其他页码对应的完整url
self.page_num += 1
# 对新的页码对应的url进行请求发送（手动请求GET发送）
yield scrapy.Request(url=new_url, callback=self.parse)
管道中(pipelines.py)我们直接打印item就可以了，主要是看效果
class HandreqproPipeline:
# 定义一个数值,记录接收item的次数。也就是记录打印了多少条数据
count = 0
def process_item(self, item, spider):
print(item)
self.count += 1
print(self.count)
完整代码：
import scrapy
from handReqPro.items import HandreqproItem
class DuanziSpider(scrapy.Spider):
name = 'duanzi'
# allowed_domains = ['www.xx.com']
start_urls = ['https://duanzixing.com/段子/']
# 通用url模板
url = 'https://duanzixing.com/段子/%d/'
page_num = 2
# 将段子网中所有页码对应的数据进行爬取（前五页）
def parse(self, response):
# 数据解析名称和内容
article_list = response.xpath('/html/body/section/div/div/article')
for article in article_list:
title = article.xpath('./header/h2/a/@title').extract_first()
note = article.xpath('./p[2]/text()').extract_first()
# 实例化一个item类型对象，将解析到的数据存储到该对象中
item = HandreqproItem()
item['title'] = title
item['note'] = note
# 将item对象提交给管道
yield item
while self.page_num <= 5:
new_url = format(self.url % self.page_num)
self.page_num += 1
yield scrapy.Request(url=new_url, callback=self.parse)
执行工程~我们就发现打印了60条数据，每页是12条，总共5页！
其他问题
-
为什么start_urls列表中的url会被自行进行get请求的发送？
因为列表中的url其实是被start_requests这个父类方法实现的get请求发送
# 父类方法：这个是该方法的原始实现 def start_requests(self): for u in self.start_urls: yield scrapy.Request(url=u, callback=self.parse) -
如何将start_urls中的url默认进行post请求的发送？
重写start_requests(self)父类方法即可
def start_requests(self): for u in self.start_urls: yield scrapy.FormRequest(url,callback,formdata)
关注Python涛哥！学习更多Python知识！
