有一个内置设置
CLOSESPIDER_PAGECOUNT,可以通过命令行
-s参数传递或更改设置:
scrapy crawl <spider> -s CLOSESPIDER_PAGECOUNT=100
一个小警告是,如果启用了缓存,它将缓存命中数也计入页数。

有一个内置设置
CLOSESPIDER_PAGECOUNT,可以通过命令行
-s参数传递或更改设置:
scrapy crawl <spider> -s CLOSESPIDER_PAGECOUNT=100
一个小警告是,如果启用了缓存,它将缓存命中数也计入页数。