scrapy-redis如何在python分布式爬虫中使用？

在明确了scrapy-redis与redis的关系之后，我们可以进一步了解scrapy-redis有哪些适合python初学者的使用。我们平时对于文件的修改和添加还是很频繁的，那么scrapy-redis在这两个功能的实现上好不好用呢？为此小编分别进行了测试，代码部分的同样也同样展现给大家，我们一起探索scrapy-redis的修改和添加的操作。

在setting.py中修改和添加的内容

#  把scrapy中默认的去重组件替换为scrapy-redis中的去重组件
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
 
#  把scrapy中默认的调度器替换成scrapy-redis中的调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
 
#  任务持久化
SCHEDULER_PERSIST = True
 
#  添加scrapy-redis管道
ITEM_PIPELINES = {
    # 'guoke.pipelines.GuokePipeline': 300,
    'scrapy_redis.pipelines.RedisPipeline': 400,
}
 
# 添加redis数据库的连接URL
# REDIS_URL = 'redis://127.0.0.1:6379'
 
REDIS_HOST = 'localhost'
REDIS_PORT = 6379
REDIS_PARAMS = {}
REDIS_PARAMS['password'] = '12345'

wenda.py添加的内容

from scrapy_redis.spiders import RedisSpider
# class WendaSpider(scrapy.Spider):
# 继承RedisSpoder类
class WendaSpider(RedisSpider):
    name = 'wenda'
    allowed_domains = ['guokr.com']
    #添加redis库，当redis中没有这个键的时候，程序会处于监听等待状态
    redis_key = 'python'

今天的scrapy-redis使用方面已经全部分享给大家了，不知道小伙伴们有没有学会~不成功的小伙伴可以看看是不是复制代码的时候出了问题。更多Python学习指路:PyThon学习网教学中心。