栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

CrawlSpider全站爬取简单笔记

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

CrawlSpider全站爬取简单笔记

又来更新爬虫了,这回是scrapy的CrawlSpider全站爬取

CrawlSpider 这个东西有个关键的东西叫 链接爬取器

LinkExtractor(

         allow=r'Items/',# 满足括号中“正则表达式”的值会被提取,如果为空,则全部匹配。

         deny=xxx,  # 满足正则表达式的则不会被提取。

 

         restrict_xpaths=xxx, # 满足xpath表达式的值会被提取

         restrict_css=xxx, # 满足css表达式的值会被提取

         deny_domains=xxx, # 不会被提取的链接的domains。 

    )

- 作用:提取response中符合规则的链接。
他可以里面配置正则、xpath来提取你想要的东西

Rule : 规则解析器。根据链接提取器中提取到的链接,根据指定规则提取解析器链接网页中的内容
我这里就是先定义1个链接出来,然后放到rules里面去,callback就是(回调)他就是说提取出来给下面的parse_item处理

follow是一个布尔值,指定了根据该规则从response提取的链接是否需要跟进。
如果callback 为None,follow 默认设置为True,否则默认为False。
当follow为True时,爬虫会从获取的response中取出符合规则的url,再次进行爬取,如果这次爬取的response中还存在符合规则的url,则再次爬取,无限循环,直到不存在符合规则的url。
当follow为False是,爬虫只从start_urls 的response中取出符合规则的url,并请求。

 lk1 = LinkExtractor(restrict_xpaths="//div[@class='sec-panel-body']/ul/li/div/h3/a")
 
  rules = (
        # 这里crawlspider会自动提取链接, 并自动发送请求
        Rule(lk1, callback='parse_item'),
    )

开干,他创建的时候和scrapy不一样的,他这个就是

scrapy genspider -t crawl tang shicimingjv.com

这就指定了用CrawlSpider 来工作,基于CrawlSpider这个类的,而不再是Spider这个基类

主要的爬虫代码如下

import scrapy
from scrapy.linkextractors import LinkExtractor  # 链接提取器
from scrapy.spiders import CrawlSpider, Rule

class TangSpider(CrawlSpider):
    name = 'tang'
    allowed_domains = ['shicimingjv.com']
    start_urls = ['https://www.shicimingjv.com/tangshi/index_1.html']  # => parse

    # 省略了parse
    # 详情页的url地址,下面那个lk2是处理分页的
    lk1 = LinkExtractor(restrict_xpaths="//div[@class='sec-panel-body']/ul/li/div/h3/a")
    lk2 = LinkExtractor(restrict_xpaths="//ul[@class='pagination']/li/a")
    # rules
    rules = (
        # 这里crawlspider会自动提取链接, 并自动发送请求
        Rule(lk1, callback='parse_item'),
        # 把刚才的逻辑在来一遍
        # lk2 能够拿到-》 2.html, 3.html...4.5.6
        Rule(lk2, follow=True),  # follow: 表示是否继续重新来一遍 =>前面的callback=self.parse
    )

    # crawlspider的执行过程
    # def parse(self, resp, **kwargs):
    #     for r in self.rules:
    #         links = r.link_extractor.extract_links(resp)
    #         for link in links:
    #             url = link.url
    #             yield scrapy.Request(url=url, callback=r.callback)

    # 不是parse了。 换成parse-item
    def parse_item(self, response, **kwargs):
        # 解析详情页的内容
        title = response.xpath("//h1[@class='mp3']/text()").extract_first()
        print(title)

  
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/892553.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号