scrapy保存、中断、继续执行爬虫程序

在scrapy文件中的custom_settings写入JOBDIR即可，比如：

'JOBDIR': '../jobs/baidu_news',

baidu_news这个位置就是当程序停止爬虫的时候当前的运行状态就会记录在这个文件中，当再次爬取时会接着保存的状态进行爬取

class BaiduSpiderSpider(CrawlSpider):
    """Get news from news.baidu.com
    """
    name = "baidu_spider"
    allowed_domains = ["news.baidu.com"]
    stopwords = []
    custom_settings = {
        'HTTPERROR_ALLOWED_CODES': [302, 301],
        'JOBDIR': '../jobs/baidu_news',
    }