你实际上已经通过编辑回答了它。最好的选择是设置scrapyd服务并进行API调用schedule.json以触发抓取作业运行。
要进行该API http调用，你可以使用
urllib2/ requests，也可以在
scrapydAPI- 周围使用包装器python-scrapyd-api：
from scrapyd_api import ScrapydAPIscrapyd = ScrapydAPI('http://localhost:6800')scrapyd.schedule('project_name', 'spider_name')如果我们搁置一边
scrapyd并尝试从视图中运行Spider，它将阻止请求，直到扭曲的反应堆停止为止-因此，这实际上不是一种选择。
不过，你可以开始使用
celery（与串联
django_celery）-定义一个任务，该任务将运行Scrapy Spider，并从django视图中调用该任务。这样，你可以将任务放在队列中，而不会让用户等待爬网完成。
另外，看看django-dynamic-scraper软件包：
Django Dynamic Scraper（DDS）是用于Django的应用程序，基于cracking框架Scrapy构建。在保留Scrapy的许多功能的同时，它还允许你通过Django管理界面动态创建和管理蜘蛛。能会朝着正确的方向前进。
