很多网站配置有CDN防爬虫机制,每个IP地址大约在查询10次之后会封禁,所以需要在IP被封之后更换IP地址。通常有2种方式更换本机公网IP,一种是通过HTTP代理方式更改自己外网的ip地址,另一种则是通过拨号ADSL重拨以获得新的IP地址。
类型 | 优点 | 缺点 |
HTTP代理 | IP切换速度快,配置简单 | 成本高,代理IP不稳定 |
拨号ADSL | 成本低,速度稳定 | 配置复杂,IP切换速度慢 |
今天讲讲 HTTP代理方式,一般都是配合特定软件使用,比如备案批量查询工具,一个IP查10次就禁IP,这时候就需要自助更换本机公网IP!
代理IP池配置方法
1、 获取代理IP池API
a、这里以芝麻HTTP (点击进入官网)为例,注册可送20元体验金,注册和认证步骤不再说明,请自行注册登录并做实名认证。
b、登录后进入:
c、然后按次获取代理IP,每次获取个数建议3-5个,选项如下:
即IP协议选HTTPS,其他默认,然后生成API连接。
d、生成API后,复制“直连IP”的API地址:
2、浏览器配置代理API
配置软件代理API
a、打开备案批量查询工具,切换到“ICP防封IP”
b、然后将刚刚复制的代理IP粘贴进代理获取API
c、代理IP正则通常为默认的(下拉框选第一个)
d、勾选 “启用代理API”,每查询“9”次更换代理,每次获取代理间隔“1”秒
e、具体参考下图配置
f、配置完毕,点击“获取并测试”,有测试结果“True”即通过测试,即可使用批量查询功能