http://doc.codingdict.com/scrapy/index.html
假设启用了默认的spider中间件,则HttpErrorMiddleware会过滤掉200-300范围之外的响应代码。你可以通过在Spider上设置handle_httpstatus_list属性来告诉中间件你要处理404。
class TothegoSitemapHomesSpider(SitemapSpider): handle_httpstatus_list = [404]

http://doc.codingdict.com/scrapy/index.html
假设启用了默认的spider中间件,则HttpErrorMiddleware会过滤掉200-300范围之外的响应代码。你可以通过在Spider上设置handle_httpstatus_list属性来告诉中间件你要处理404。
class TothegoSitemapHomesSpider(SitemapSpider): handle_httpstatus_list = [404]