好的，这就是我如何使Scrapy与我的Django项目一起工作的，该项目使用Celery来排队要爬网的内容。实际的解决方法主要来自位于http://snippets.scrapy.org/snippets/13/的 joehillen的代码。
首先
tasks.py文件
from celery import task@task()def crawl_domain(domain_pk): from crawl import domain_crawl return domain_crawl(domain_pk)
然后
crawl.py文件
from multiprocessing import Processfrom scrapy.crawler import CrawlerProcessfrom scrapy.conf import settingsfrom spider import DomainSpiderfrom models import Domainclass DomainCrawlerscript(): def __init__(self): self.crawler = CrawlerProcess(settings) self.crawler.install() self.crawler.configure() def _crawl(self, domain_pk): domain = Domain.objects.get( pk = domain_pk, ) urls = [] for page in domain.pages.all(): urls.append(page.url()) self.crawler.crawl(DomainSpider(urls)) self.crawler.start() self.crawler.stop() def crawl(self, domain_pk): p = Process(target=self._crawl, args=[domain_pk]) p.start() p.join()crawler = DomainCrawlerscript()def domain_crawl(domain_pk): crawler.crawl(domain_pk)
这里的窍门是“来自多处理导入过程”，它解决了Twisted框架中的“ ReactorNotRestartable”问题。因此，基本上Celery任务调用了“ domain_crawl”函数，该函数反复使用“ DomainCrawlerscript”对象来与Scrapy蜘蛛进行交互。（我知道我的示例有点多余，但是我这样做是出于我使用多个版本的python的原因[我的django Web服务器实际上正在使用python2.4，而我的工作服务器使用python2.7]）
在我的示例中，“ DomainSpider”只是一个经过修改的Scrapy Spider，它接收URL列表，然后将其设置为“ start_urls”。
