更好的方法是重写start_requests方法。
这可以查询您的数据库,就像一样
populate_start_urls,并返回一系列Request对象。
您只需要将
populate_start_urls方法重命名为
start_requests并修改以下几行:
for row in rows: yield self.make_requests_from_url(row[0])

更好的方法是重写start_requests方法。
这可以查询您的数据库,就像一样
populate_start_urls,并返回一系列Request对象。
您只需要将
populate_start_urls方法重命名为
start_requests并修改以下几行:
for row in rows: yield self.make_requests_from_url(row[0])