1.前言
大数据的孩子们，你们有福了，勇哥给你们推荐一个爬数据的超级神器【亮数据】,再也不用担心毕业设计中没有数据集可以作为分析材料了。今天我就带着大家来玩转这个神器，官网也好记忆：bright.cn
目录
开放功能有个图，很直接，我们可以看看。
推荐肯定有推荐的道理，从主页上看到的数据可以说明一切。
2.注册使用
这个地方非常的方便，姓名、邮箱、手机号即可注册完毕，姓名分开，一看就是国外注册方式，我们可以高效的进行外网访问，获取资料还不是水到渠成，这里我要用三个super来表示一下自己的开心。
温馨提示：
每次登录都会告诉你一下上次密码更新时间，注意修改密码，保障自己账号安全。
2.1 亮数据后台首页
登录后就能直接进入到亮数据的后台首页了，可以直接看到【代理&爬虫基础设施】，这就是我们主要使用的功能，他这里用的是最开修饰的【最快且稳定的代理网络，静态动态IP覆盖全球195个国家，告别反爬限制和封锁。】这个最代表什么，我们可想而知，起码我们爬取数据的时候再也不需要设置随机间隔时间了，下方包括中介绍了具体的一些功能，动态住宅保障自身安全，静态住宅ISP和机房代理能让我们稳定使用，移动代理这个也好，随时随地保护自己。
各种功能是否开启在列表中一目了然。
所有的价格也是很直观的，根据流量收费，童叟无欺。
页面下端就能看到所有的服务内容，有写右上角的表示代表着他们的主要功用。
2.2 无限机房代理
无限机房代理，亮数据的专用机房代理IP单价固定，零带宽成本，适合使用需求高的场景。分配的每个IP拥有高达 100GB的无限带宽。
拥有超过160万个IP和业内最广的地理覆盖范围。旅程较短且架构简单，让我们的机房代理IP拥有最快的速度和最高的成本效益。
请注意核心优势：无限自由IP轮动，看好，无限两个字，这个就是神器。
可以选择获取的ip地域，我这里选择的是咱们国家的三个城市，直接点击创建即可。
2.3 账户充值
这里是支持支付宝的，就很方便，有几个带星号的是必填项，地址看这写，填上姓名手机号直接选择支付宝即可，不用想其它的国外平台必须使用信用卡。
2.4 查询交易
在交易中能看到我们的充值记录。
3.各功能优势
各功能都有自己的优势，接下来我将下面的功能都介绍一下。
3.1 亮数据浏览器——优势
利用内置解锁功能和代理一体的爬虫浏览器，大规模轻易解锁网站，抓取数据。
使用浏览器自动化API，启动和操控大量爬虫浏览器会话。浏览器内置的解锁功能，包括验证码解决、浏览器指纹识别和代理管理，将助你节省时间和资源，且可通过 Puppeteer 或 PlayWright 轻松控制。
| 根据需要按需大规模处理尽浏览器会话，不会被阻止; Puppeteer、Playwright 和 Selenium 兼容，可实现无缝集成 由成功率极高的亮数据解锁器的最佳解锁技术支持 |
3.2 亮网络解锁器——优势
使用亮网络解锁器，意味着你将永远不必操心反爬取阻止、限制以或验证码，它在后台完全模拟真实用户操作，让你能发送无限并发请求，获得完美畅通的响应。
| 从任何公开网页爬取数据； 绕过验证码，阻止和限制；  不成功不支付； 自动IP轮动； 真实用户模拟和网络指纹。 |
3.3 动态住宅代理——优势
7200万来自全球真人住宅的IP，组成业界规模最大，速度最快的网络，你可以精准定位每个国家、州和城市的IP，及时从反爬取技术最高的站点采集数据也畅通无阻。
| 绕过反数据爬取最严格的网站限制及阻碍； 精准定位到任何国家，城市，运营商以及ASN； 无限并发请求； 无限自由IP轮动。 |
3.4 搜索引擎爬虫SERP——优势
亮数据的 SERP API 让你从最流行的搜索引擎轻松收集结果， 内置的解锁技术，您可以从任何位置查看 SERP 结果而不会被阻止。
| 不成功不支付； 极快的响应速度； 选择“不同的位置”参数自动定位最佳对等客户IP； 可通过使用不同的设备和搜索类型提高搜索结果的准确性。 |
3.5 ISP静态住宅代理——优势
70万静态住宅IP被储存在数据中心，组成了极快却又非常稳定的合法真人静态住宅代理网络。
| 拥有住宅代理IP的强大优势； 长期甚至终身拥有IP； 极快的响应速度； |
3.6 机房代理——优势
机房代理网络势不可挡，拥有超过160万个IP和业内最广的地理覆盖范围。旅程较短且架构简单，让机房代理IP拥有最快的速度和最高的成本效益。
| 高效却又经济的机房代理网络； 长期甚至终身拥有IP； 无宽带和目标站点限制； 自由定位国家州/省或城市。 |
3.7 移动代理——优势
通过最快最大的3G/4G手机代理网络，让你能自由查看和采集任何网站和APP的内容。
| 绕过反数据爬取限制及阻碍； 精准定位到任何国家，城市，运营商以及ASN； 像真实移动用户一样进入网站。 |
4 使用示例
这里我们单独的跑一个实验一下，进行一个具体的测试。
4.1 亮网络解锁器——案例测试
这里我用的是亮网络解锁器来做个测试，每千次成功访问才3美元，还是比较划算的。
直接点击【添加】后就会出现访问参数，我们一会使用【python】跑一下，在下图中也可以看到对应的蓝色英文，我们点击【Check out code and integration examples】即可进入到【代理集成示例】页面。
在代理集成示例中我们选择对应的API_python语言的代码，细节就无所谓了，定位是China。
4.2 python代码测试——1、国内ip
我们来分析一下系统提供的代码，这里访问的是国内的一款小说网站，模拟爬取的第一步操作，获取页面。
| Python #!/usr/bin/env python print('If you get error "ImportError: No module named \'six\'" install six:\n'+\ '$ sudo pip install six'); print('To enable your free eval account and get CUSTOMER, YOURZONE and ' + \ 'YOURPASS, please contact sales@brightdata.com') import sys import ssl ssl._create_default_https_context = ssl._create_unverified_context if sys.version_info[0]==2: import six from six.moves.urllib import request import random username = '你的密码-niyongge' password = '你的地址' port = 22225 session_id = random.random() super_proxy_url = ('http://%s-session-%s:%s@brd.superproxy.io:%d' % (username, session_id, password, port)) proxy_handler = request.ProxyHandler({ 'http': super_proxy_url, 'https': super_proxy_url, }) opener = request.build_opener(proxy_handler) print('Performing request') print(opener.open('https://www.zongheng.com/detail/1228049?tabsName=catalogue').read()) if sys.version_info[0]==3: import urllib.request import random username = '你的地址-niyongge' password = '你的密码' port = 22225 session_id = random.random() super_proxy_url = ('http://%s-session-%s:%s@brd.superproxy.io:%d' % (username, session_id, password, port)) proxy_handler = urllib.request.ProxyHandler({ 'http': super_proxy_url, 'https': super_proxy_url, }) opener = urllib.request.build_opener(proxy_handler) print('Performing request') print(opener.open('https://www.zongheng.com/detail/1228049?tabsName=catalogue').read()) |
很明显的能看出是先判断了python的版本，我电脑我知道，就是python3，所以我就去掉没用的代码了，去掉后我们跑一下，看到访问成功，但是返回的信息需要改一下编码。
稍微改一下，就能看到中文了：
4.3 查看动态ip地址
我们使用：https://httpbin.org/ip 来查看返回的ip地址。
| Python #!/usr/bin/env python import ssl ssl._create_default_https_context = ssl._create_unverified_context import urllib.request import random for i in range(1, 5): username = 'brd-customer-hl_2d29d482-zone-niyongge' password = 'q771cyx61j2r' port = 22225 session_id = random.random() super_proxy_url = ('http://%s-session-%s:%s@brd.superproxy.io:%d' % (username, session_id, password, port)) proxy_handler = urllib.request.ProxyHandler({ 'http': super_proxy_url, 'https': super_proxy_url }) opener = urllib.request.build_opener(proxy_handler) print('Performing request') strs = opener.open('https://httpbin.org/ip').read() print("请求的IP地址为：", strs.decode('utf-8')) |
实验结果四个地址都是国内的地址：
4.4 python代码测试——2、国外ip
这里我们更换一下ip地址，选择的是美国的。
实际代码：
| Python #!/usr/bin/env python import sys import ssl ssl._create_default_https_context = ssl._create_unverified_context import urllib.request opener = urllib.request.build_opener( urllib.request.ProxyHandler( {'http': '你的地址-niyongge_wai-country-us:bh6k05u14w1s.io:22225', 'https': '你的地址-niyongge_wai-country-us:bh6k05u14w1s.io:22225'})) print(opener.open('http://lumtest.com/myip.json').read()) |
4.5 查看动态ip地址
5. 总结
本篇文章讲解了亮数据的各种优势，以及一个具体的案例来测试亮数据的具体操作，给大家操作提供一个帮助，当今网络数据采集可以说是几乎所有的程序员必备技能，不仅仅只应用于python爬虫以及大数据的进行使用，就连我一个写论文的也是经常的需要使用，亮数据使用起来方便快捷，并且ip获取成功率高，响应快，不成功不收费等性质都是我们在实际生产生活中必不可缺的亮点，多种语言的支持使它的适用面可以变得更广，希望亮数据可以为大家创造更多的价值。
亮数据为粉丝提供了10美金的抵用券，成功注册账户，并登录后在用户界面里输入折扣代码即可享受抵扣！
折扣代码：javalee
访问页面：商用代理IP网络
如有问题，可以关注“Bright_Data”亮数据官微，联系后台客服。
