​点关注，少BUG​​


​很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。​


​使用代理IP，这是爬虫/反爬虫的重要技术，通常也是最好用的。​


​​▌1 原理​​


​request中通过ProxyHandler来设置使用代理服务器，代理的使用很简单，可以付费在专业网站上购买稳定的ip地址，也可以在网络上寻求免费的ip代理。但是，这些免费开放代理一般会有很多人都在使用，而且代理有寿命短，速度慢，匿名度不高，HTTP/HTTPS支持不稳定等缺点（免费没好货）。​

​免费的开放代理获取基本没有成本，我们可以在一些代理网站上收集这些免费代理，测试后如果可以用，就把它收集起来用在爬虫上面。​

Python | 爬虫之免费代理IP的使用（附网站链接）

​​▌2 代码​​


​​▌3 ​免费短期代理网站推荐​​​


​西刺免费代理IP:http://www.xicidaili.com/​

​快代理免费代理:https://www.kuaidaili.com/free/inha/​

​全网代理IP:http://www.goubanjia.com/​

​如果代理IP足够多，就可以像随机获取User-Agent一样，随机选择一个代理去访问网站。​


​当然如果出现下面这个情况，不要怀疑代码写错了，而是代理ip不能用，这时候要么换ip要么就是花钱买稳定的ip。​


​​


​所以，专业爬虫工程师或爬虫公司会使用高品质的私密代理，这些代理通常需要找专门的代理供应商购买，再通过用户名/密码授权使用（舍不得孩子套不到狼）。​


????点击获取：往期神器????



​​- END -​​​


阅读剩余 0%
本站所有文章资讯、展示的图片素材等内容均为注册用户上传(部分报媒/平媒内容转载自网络合作媒体)，仅供学习参考。 用户通过本站上传、发布的任何内容的知识产权归属用户或原始著作权人所有。如有侵犯您的版权，请联系我们反馈本站将在三个工作日内改正。