使用Scrapy从网站查找和下载pdf文件

蜘蛛逻辑似乎不正确。

我快速浏览了您的网站，似乎有几种页面类型：

1. http://www.pwc.com/us/en/tax-services/publications/research-and-insights.html初始页面
2. 特定文章的网页，例如http://www.pwc.com/us/en/tax-services/publications/insights/australia-introduces-new-foreign-resident-cgt-withholding-regime.html，可以从中导航第1页
3. 实际的PDF位置，例如http://www.pwc.com/us/en/state-local-tax/newsletters/salt-insights/assets/pwc-wotc-precertification-period-extended-to-june-29.pdf可以从第2页进行导航

因此，正确的逻辑如下：首先获取＃1页面，然后获取＃2页面，然后我们可以下载这些＃3页面。
但是，您的Spider会尝试直接从＃1页面提取指向＃3页面的链接。

编辑：

我已经更新了您的代码，这实际上是可行的：

import urlparseimport scrapyfrom scrapy.http import Requestclass pwc_tax(scrapy.Spider):    name = "pwc_tax"    allowed_domains = ["www.pwc.com"]    start_urls = ["http://www.pwc.com/us/en/tax-services/publications/research-and-insights.html"]    def parse(self, response):        for href in response.css('div#all_results h3 a::attr(href)').extract(): yield Request(     url=response.urljoin(href),     callback=self.parse_article )    def parse_article(self, response):        for href in response.css('div.download_wrapper a[href$=".pdf"]::attr(href)').extract(): yield Request(     url=response.urljoin(href),     callback=self.save_pdf )    def save_pdf(self, response):        path = response.url.split('/')[-1]        self.logger.info('Saving PDF %s', path)        with open(path, 'wb') as f: f.write(response.body)