您正在寻找扩展名的
CLOSESPIDER_PAGECOUNT设置
CloseSpider:
一个整数,指定要爬网的最大响应数。如果蜘蛛爬行的次数超过了该数量,则蜘蛛会因故被关闭
closespider_pagecount。如果为零(或未设置),则抓取的响应数不会关闭蜘蛛。

您正在寻找扩展名的
CLOSESPIDER_PAGECOUNT设置
CloseSpider:
一个整数,指定要爬网的最大响应数。如果蜘蛛爬行的次数超过了该数量,则蜘蛛会因故被关闭
closespider_pagecount。如果为零(或未设置),则抓取的响应数不会关闭蜘蛛。