在Spider中,您可以抛出CloseSpider异常。
def parse_page(self, response): if 'Bandwidth exceeded' in response.body: raise CloseSpider('bandwidth_exceeded')对于其他(中间件,管道等),您可以按照akhter所述手动调用close_spider。
从0.11开始,存在
CLOSESPIDER_ERRORCOUNT:
一个整数,指定在关闭蜘蛛网之前要接收的最大错误数。如果蜘蛛产生的错误数量超过了该数目,它将以
closespider_errorcount原因关闭。如果为零(或未设置),则蜘蛛不会因错误数量而关闭。
如果将其设置为
1,则蜘蛛会在第一个异常时关闭。



