如果我正确理解您的要求,则需要大量具有特定模式的起始URL。
如果是这样,则可以重写baseSpider.start_requests方法:
class ExampleSpider(baseSpider): name = "test_pre" allowed_domains = ["www.example.com"] def start_requests(self): for i in xrange(1000): yield self.make_requests_from_url("http://www.example.com/bookstore/new/%d?filter=bookstore" % i) ...


