警告：此答案适用于Scrapy v0.7，自那时以来，蜘蛛管理器api发生了很大变化。
覆盖默认的SpiderManager类，从数据库或其他地方加载您的自定义规则，并使用您自己的规则/正则表达式和domain_name实例化自定义蜘蛛
在mybot / settings.py中：
SPIDER_MANAGER_CLASS = 'mybot.spidermanager.MySpiderManager'
在mybot / spidermanager.py中：
from mybot.spider import MyParametrizedSpiderclass MySpiderManager(object): loaded = True def fromdomain(self, name): start_urls, extra_domain_names, regexes = self._get_spider_info(name) return MyParametrizedSpider(name, start_urls, extra_domain_names, regexes) def close_spider(self, spider): # Put here pre you want to run before spiders is closed pass def _get_spider_info(self, name): # query your backend (maybe a sqldb) using `name` as primary key, # and return start_urls, extra_domains and regexes ... return (start_urls, extra_domains, regexes)
现在是您的自定义蜘蛛类，位于mybot / spider.py中：
from scrapy.spider import baseSpiderclass MyParametrizedSpider(baseSpider): def __init__(self, name, start_urls, extra_domain_names, regexes): self.domain_name = name self.start_urls = start_urls self.extra_domain_names = extra_domain_names self.regexes = regexes def parse(self, response): ...
笔记：
- 如果您想利用CrawlSpider的Rules系统，也可以对其进行扩展
- 要运行蜘蛛，请使用：
./scrapy-ctl.py crawl <name>
，其中name
传递给SpiderManager.fromdomain，这是从后端系统检索更多蜘蛛信息的关键 - 由于解决方案会覆盖默认的SpiderManager，因此无法对经典的Spider（每个SPIDER的python模块）进行编码，但是，我认为这对您来说不是问题。有关默认蜘蛛管理器TwistedPluginSpiderManager的更多信息
