crawl使用
-a选项在命令中传递蜘蛛参数。例如:
scrapy crawl myspider -a category=electronics -a domain=system
蜘蛛程序可以将参数作为属性访问:
class MySpider(scrapy.Spider): name = 'myspider' def __init__(self, category='', **kwargs): self.start_urls = [f'http://www.example.com/{category}'] # py36 super().__init__(**kwargs) # python3 def parse(self, response) self.log(self.domain) # system摘自Scrapy文档:http ://doc.scrapy.org/en/latest/topics/spiders.html#spider-
arguments
2013年更新 :添加第二个参数
2015年更新 :调整措辞
2016年更新 :使用较新的基类并添加超级类,谢谢@Birla
2017年更新 :使用Python3 super
# previouslysuper(MySpider, self).__init__(**kwargs) # python2
更新2018
:@eLRuLL指出,蜘蛛可以将参数作为属性访问



