这里是一些可以尝试的事情：
- 使用最新的scrapy版本（如果尚未使用）
- 检查是否使用了非标准中间件
- 尝试增加CONCURRENT_REQUESTS_PER_DOMAIN，CONCURRENT_REQUESTS设置（docs）
- 关闭日志记录LOG_ENABLED = False（docs）
- 尝试yield循环输入项目，而不是将项目收集到items列表中并返回
- 使用本地缓存DNS
- 检查此网站是否正在使用下载阈值并限制你的下载速度
- 在Spider运行期间记录CPU和内存使用情况-查看是否存在任何问题
- 尝试在scrapyd服务下运行同一spider
- 看看grequests + lxml是否会表现更好（询问你是否需要实施此解决方案的帮助）
- 尝试在Scrapy上运行pypy，请参阅在PyPy上运行Scrapy
希望能有所帮助。
