请求系统也可以并行运行，请参阅http://doc.scrapy.org/en/latest/topics/settings.html#concurrent-
requests。Scrapy旨在处理Spider本身中的请求和解析，回调方法使其异步，并且默认情况下，多个Requests确实并行工作。
并行处理的项目管道不打算进行繁重的分析：它旨在检查并验证您在每个项目中获得的值。（http://doc.scrapy.org/en/latest/topics/item-
pipeline.html）
因此，您应该在Spider本身中进行查询，因为它们旨在存在于那里。从蜘蛛的文档：
蜘蛛程序是定义如何刮除某个站点（或一组站点）的类，包括如何执行爬网（即，跟随链接）以及如何从其页面中提取结构化数据（即，刮取项）。
