我相信你正在寻找的是“持久性支持”,以暂停和恢复爬网。
要启用它,你可以执行以下操作:
scrapy crawl somespider -s JOBDIR=crawls/somespider-1
上一篇 ID在整个页面中必须唯一吗?
下一篇 httplib.BadStatusLine:”
版权所有 (c)2021-2022 MSHXW.COM
ICP备案号:晋ICP备2021003244-6号