Python爬虫从入门到精通:（32）请求传参实现的深度爬取

概念和方式：

深度爬取：爬取的数据没有在同一张页面中（首页数据+详情页数据）

在scrapy中如果没有请求传参，我们无法持久化存储数据

实现方式：

• scrapy.Request(url,callback,meta)
  • meta是一个字典，可以将meta传递给callback
• callback取出meta:
  • response.meta['item']

例程：

爬取某电影网的电影名称和详情页的电影介绍

http://www.4567kp.com/frim/index1.html

这个网站首页和详情介绍不在同一页面，利用requests很容易爬取，但用scrapy必须要用到深度爬取

创建一个工程moviePro:

1. scrapy startproject moviePro
2. cd moviePro
3. scrapy genspider movie www.xxx.com
4. 修改配置文件

我们先来取出电影名称和详情页URL：

import scrapy

class MovieSpider(scrapy.Spider):
    name = 'movie'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['http://www.4567kp.com/frim/index1.html']

    def parse(self, response):
        li_list = response.xpath('/html/body/div[1]/div/div/div/div[2]/ul/li')
        for li in li_list:
            # 获取电影名称
            title = li.xpath('./div/a/@title').extract_first()
            # 详情页URL
            detail_url = 'http://www.4567kp.com' + li.xpath('./div/a/@href').extract_first()
            print(title, detail_url)

运行一下：scrapy crawl movie

上节课我们将了如果对新网站进行手动爬取：

那我们就可以对该电影网进行详情页的爬取：

yield scrapy.Request(url=detail_url,callback=)

但我们遇到一个问题：callback=?，这里肯定不能写self.parse。我们可以再写个函数进行详情页的数据解析:

		# yield scrapy.Request(url=detail_url, callback=parse_detail)

    # 被作用于解析详情页的数据
    def parse_detail(self, response):
        desc = response.xpath('/html/body/div[1]/div/div/div/div[2]/p[5]/span[3]').extract_first()
        ...
        yield ...

先别着急省略的代码。上面我们获取了电影名称和详情页数据，我们需要管道做持久化存储的话，需要定义item

items.py文件：

import scrapy

class MovieproItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()
    desc = scrapy.Field()

那我们就把item写进代码中：

def parse(self, response):
    li_list = response.xpath('/html/body/div[1]/div/div/div/div[2]/ul/li')
    for li in li_list:
        # 获取电影名称
        title = li.xpath('./div/a/@title').extract_first()
        detail_url = 'http://www.4567kp.com' + li.xpath('./div/a/@href').extract_first()

        item = MovieproItem()
        item['title'] = title
        yield scrapy.Request(url=detail_url, callback=self.parse_detail)

# 被作用于解析详情页的数据
def parse_detail(self, response):
    desc = response.xpath('/html/body/div[1]/div/div/div/div[2]/p[5]/span[3]').extract_first()
    item['desc'] = desc

但是，这样的话肯定是报错的。因为parse_detail函数中并没有item，这时候，我们就需要用到请求传参：

    def parse(self, response):
        li_list = response.xpath('/html/body/div[1]/div/div/div/div[2]/ul/li')
        for li in li_list:
            # 获取电影名称
            title = li.xpath('./div/a/@title').extract_first()
            detail_url = 'http://www.4567kp.com' + li.xpath('./div/a/@href').extract_first()

            item = MovieproItem()
            item['title'] = title

            # meta的作用：可以将mate字典传递给callback
            yield scrapy.Request(url=detail_url, callback=self.parse_detail, meta={'item': item})

    # 被作用于解析详情页的数据
    def parse_detail(self, response):
        # 接收传递过来的mate
        item = response.meta['item']
        desc = response.xpath('/html/body/div[1]/div/div/div/div[2]/p[5]/span[3]').extract_first()
        item['desc'] = desc
				
        # 传递给管道
        yield item

管道文件中打印下：

class MovieproPipeline:
    def process_item(self, item, spider):
        print(item)
        return item

我们来运行一下:

这样就爬取到了数据！

关注Python涛哥！学习更多Python知识！