我认为没有一种好的方法可以为Scrapy创建基于Flask的API。Flask不是正确的工具，因为它不是基于事件循环的。更糟糕的是，Twisted反应堆（Scrapy使用）不能在单个线程中多次启动/停止。
假设Twisted电抗器没有问题，你可以启动和停止它。它不会使事情变得更好，因为你的
scrape_it函数可能会长时间阻塞，因此你将需要许多线程/进程。
我认为方法是使用Twisted或Tornado等异步框架创建API；它会比基于Flask（或基于Django）的解决方案更高效，因为该API将能够在Scrapy运行Spider时处理请求。
Scrapy基于Twisted，因此使用twisted.web或https://github.com/twisted/klein可能更简单。但是Tornado也并不难，因为你可以使用Twisted事件循环使它成为现实。
有一个名为ScrapyRT的项目，其功能与你要实现的功能非常相似-它是Scrapy的HTTP API。ScrapyRT基于Twisted。
作为Scrapy基旋风整合检查的examle Arachnado - 这里是如何Scrapy的CrawlerProcess与tornado的应用程序集成的例子。
如果你确实需要基于Flask的API，则可以在单独的进程中开始爬网和/或使用队列解决方案（例如Celery）是有意义的。这样，你就失去了大多数Scrapy效率；如果你采用这种方式，则也可以使用请求+ BeautifulSoup。
