我过去曾遇到过这个问题……大部分情况是我用的老技巧解决的。
执行本地缓存DNS。
通常，当你拥有如此高的CPU使用率同时访问远程站点时，这是因为scrapy试图解析URL。
并且，请记住将主机（/etc/resolv.conf）上的dns设置更改为本地缓存DNS服务器。
首先，它会很慢，但是一旦它开始缓存，它就会更有效地解决你将看到的巨大改进。
希望这对你的问题有所帮助！
我过去曾遇到过这个问题……大部分情况是我用的老技巧解决的。
执行本地缓存DNS。
通常，当你拥有如此高的CPU使用率同时访问远程站点时，这是因为scrapy试图解析URL。
并且，请记住将主机（/etc/resolv.conf）上的dns设置更改为本地缓存DNS服务器。
首先，它会很慢，但是一旦它开始缓存，它就会更有效地解决你将看到的巨大改进。
希望这对你的问题有所帮助！
名师互学网 版权所有 (c)2021-2022 ICP备案号：晋ICP备2021003244-6号
