又来更新爬虫了,这回是scrapy的CrawlSpider全站爬取
CrawlSpider 这个东西有个关键的东西叫 链接爬取器
LinkExtractor( allow=r'Items/',# 满足括号中“正则表达式”的值会被提取,如果为空,则全部匹配。 deny=xxx, # 满足正则表达式的则不会被提取。 restrict_xpaths=xxx, # 满足xpath表达式的值会被提取 restrict_css=xxx, # 满足css表达式的值会被提取 deny_domains=xxx, # 不会被提取的链接的domains。 )
- 作用:提取response中符合规则的链接。
他可以里面配置正则、xpath来提取你想要的东西
Rule : 规则解析器。根据链接提取器中提取到的链接,根据指定规则提取解析器链接网页中的内容
我这里就是先定义1个链接出来,然后放到rules里面去,callback就是(回调)他就是说提取出来给下面的parse_item处理
follow是一个布尔值,指定了根据该规则从response提取的链接是否需要跟进。
如果callback 为None,follow 默认设置为True,否则默认为False。
当follow为True时,爬虫会从获取的response中取出符合规则的url,再次进行爬取,如果这次爬取的response中还存在符合规则的url,则再次爬取,无限循环,直到不存在符合规则的url。
当follow为False是,爬虫只从start_urls 的response中取出符合规则的url,并请求。
lk1 = LinkExtractor(restrict_xpaths="//div[@class='sec-panel-body']/ul/li/div/h3/a")
rules = (
# 这里crawlspider会自动提取链接, 并自动发送请求
Rule(lk1, callback='parse_item'),
)
开干,他创建的时候和scrapy不一样的,他这个就是
scrapy genspider -t crawl tang shicimingjv.com
这就指定了用CrawlSpider 来工作,基于CrawlSpider这个类的,而不再是Spider这个基类
主要的爬虫代码如下
import scrapy
from scrapy.linkextractors import LinkExtractor # 链接提取器
from scrapy.spiders import CrawlSpider, Rule
class TangSpider(CrawlSpider):
name = 'tang'
allowed_domains = ['shicimingjv.com']
start_urls = ['https://www.shicimingjv.com/tangshi/index_1.html'] # => parse
# 省略了parse
# 详情页的url地址,下面那个lk2是处理分页的
lk1 = LinkExtractor(restrict_xpaths="//div[@class='sec-panel-body']/ul/li/div/h3/a")
lk2 = LinkExtractor(restrict_xpaths="//ul[@class='pagination']/li/a")
# rules
rules = (
# 这里crawlspider会自动提取链接, 并自动发送请求
Rule(lk1, callback='parse_item'),
# 把刚才的逻辑在来一遍
# lk2 能够拿到-》 2.html, 3.html...4.5.6
Rule(lk2, follow=True), # follow: 表示是否继续重新来一遍 =>前面的callback=self.parse
)
# crawlspider的执行过程
# def parse(self, resp, **kwargs):
# for r in self.rules:
# links = r.link_extractor.extract_links(resp)
# for link in links:
# url = link.url
# yield scrapy.Request(url=url, callback=r.callback)
# 不是parse了。 换成parse-item
def parse_item(self, response, **kwargs):
# 解析详情页的内容
title = response.xpath("//h1[@class='mp3']/text()").extract_first()
print(title)



