多线程爬取多个免费代理IP网站,获取并验证可用代理IP,构建免费代理池,内含多种爬取规则,支持定时爬取,目前已经支持了 10+ 个免费代理源,返回 JSON 格式,方便用于对接其他程序。
单次运行能够获取 1W+ 代理IP,通过访问链接获取返回码进行可用性验证,实际可用IP大概为 50-300 个左右。
项目地址
https://github.com/Fog-Forest/free-proxy-pool
目前支持的免费代理源
如果有新的质量不错的免费代理网站,欢迎反馈或者根据规则尝试自行适配!
代理名称 | 状态 | 地址 |
---|---|---|
66免费代理 | √ | |
快代理 | √ | |
云代理 | √ | |
89免费代理 | √ | |
泥马代理 | √ | |
西拉代理 | √ | |
站大爷 | √ | |
开心代理 | √ | |
高可用全球免费代理库 | √ | |
小舒代理 | √ | |
太阳HTTP | √ | |
小幻HTTP代理 | √ | |
齐云代理 | √ |
使用说明
pip install -r requirements.txtget-proxy.py
运行结果
注意事项
本项目仅仅是一个简单的脚本,请勿用作非法用途,通常免费代理质量都较差,不建议用于爬虫,本项目依然不够完善,后续随缘更新,如果发现 bug 或有新的功能添加,欢迎在 Issues 中反馈,同时也可以在此篇文章中留言。
推荐本站淘宝优惠价购买喜欢的宝贝:
本文链接:https://hqyman.cn/post/7415.html 非本站原创文章欢迎转载,原创文章需保留本站地址!
休息一下~~