1、编写普通的Scrapy项目,可以从某个网站爬取信息,在控制台正确输出
2、改造成分布式爬虫项目的时候让可以获取数据,并且数据可以在Redis中显示
3、在spider目录下新建了redisMongos.py文件把Redis中的数据保存到MongoDB中,可以正常保存数据,数据库中也显示数据
4、然后就关闭项目,等到第二天时候再次运行的时候:可以运行,但是控制台不输出任何东西,也不显示任何错误,Redis中没有数据
解决方案:最后发现是因为redisMongos.py这个文件影响了爬虫程序运行,把这个文件里面的东西全部注释掉(如下图所示),然后就可以正常运行爬虫项目了
具体是为什么会出现这种情况,我还不太清楚,个人感觉是因为:redisMongos.py中再次连接Redis了,可能导致爬虫项目里面的Redis出现问题



