我们在网上采集到免费代理IP时,并不是采集到就可以使用的,我们需要先验证这个IP是否是有效的,那么我们怎么来判断这个IP是不是有效的呢?
方法很简单,我们设置网页代理,去访问一个网站,如果可以正常访问,说明这个IP就是可用的,反之就是不可用IP。但是我们手动去设置代理,非常的慢,一两个还行,多了就很麻烦了,那怎么办呢?我们可以使用Python程序,来代替我们手动设置,使用我们抓取到的IP来模拟访问某个网站。
import requests
import random
import time
http_ip = [
'180.109.34.249:8060', '106.15.197.250:8001', '222.78.6.190:8083', '183.247.207.225:30001',
'106.15.197.250:8001'
]
for i in range(10):
try: ip_proxy = random.choice(http_ip) proxy_ip = { 'http': ip_proxy, 'https': ip_proxy, } print('使用代理的IP:', proxy_ip) response = requests.get("https://h.shenlongip.com", proxies=proxy_ip).text print(response) print('当前IP有效') time.sleep(2) except Exception as e: print(e.args[0]) print('当前IP无效') continue 运行验证就可以啦~