爬虫工作任务一般比较大，爬虫工作人员往往会部署分布式爬虫，多线程进行爬虫工作，往往会要求代理IP支持高并发工作。那么，代理IP的并发请求是否越大越好呢？
很多人选择代理IP时往往会要求并发请求越大越好，甚至是可以无限制并发的使用。但这根本不存在无限制并发的情况，因为代理服务器的资源是有限的，并发请求越大，访问速度越慢，甚至超时，严重时还会导致代理服务器 不稳定，无法连接。
一个人使用的独享代理IP池还好，毕竟影响的只是自己；如果是共享代理IP池，一个人无限制并发的使用，将会影响所有共用一个代理IP池的用户。独享代理IP池虽然可以无限制并发使用，但IP量比较少，价格比较贵，而且并发太大了还是会影响速度甚至超时，从而影响自己的工作效率。
因此，代理IP的并发请求并非越大越好，那么是否越小越好呢？并发太大了会影响速度，影响爬虫工作的持续稳定性；并发太小了，工作效率会很低。因此，我们需要根据自身业务，合理设计爬虫策略，合理设置并发请求大小。
阅读剩余 0%
本站所有文章资讯、展示的图片素材等内容均为注册用户上传(部分报媒/平媒内容转载自网络合作媒体)，仅供学习参考。
用户通过本站上传、发布的任何内容的知识产权归属用户或原始著作权人所有。如有侵犯您的版权，请联系我们反馈本站将在三个工作日内改正。
