如何提高scrapy的下载速度?
我过去曾遇到过这个问题……大部分情况是我用的老技巧解决的。
执行本地缓存DNS。
通常,当你拥有如此高的cpu使用率同时访问远程站点时,这是因为scrapy试图解析URL。
并且,请记住将主机(/etc/resolv.conf)上的dns设置更改为本地缓存DNS服务器。
首先,它会很慢,但是一旦它开始缓存,它就会更有效地解决你将看到的巨大改进。
希望这对你的问题有所帮助!
你尚未登录,登录后可以
和开发者交流问题的细节
关注并接收问题和回答的更新提醒
参与内容的编辑和改进,让解决方法与时俱进
联系我
602392714
清零编程群