怎样抓取网页数据( 怎样申请动态ip代理ip2.1选择合适的代理IP网站)

　　怎样抓取网页数据(

怎样申请动态ip代理ip2.1选择合适的代理IP网站)

　　内容

　　简介一、动态代理ip 1.1 什么是动态代理ip

　　动态代理IP，顾名思义，这个IP会随时随机变化，无论是固定代理IP还是动态代理IP。动态代理IP一般被网络爬虫用户使用。

　　动态IP分为长期代理和短期代理：

　　1.2 使用动态代理 IP 的好处

　　提高网站的访问速度：浏览某一个网站后，浏览过的网站的信息会保存在代理服务器的硬盘上。如果您再次浏览 网站，此信息在代理服务器中始终可用，而无需重新连接到远程服务器。因此，它节省了带宽并加快了 网站 的浏览速度。作为防火墙：可以保证局域网的安全。作为防火墙的功能，对于使用代理服务器的局域网，从外部看，只有代理服务器可以看到，局域网的其他用户是看不到的。代理还可用于限制 IP 地址的阻止，阻止用户查看某些页面。降低 IP 成本：应用代理服务器可以节省对 IP 地址的需求，从而降低 IP 地址的成本。易于管理的网络资源：您可以将部分共享资源限制在特定区域的用户中，以保持资源的区域性。提升爬虫速度：使用动态代理IP可以绕过目标网站限制，更好的抓取网络数据，自定义时间更改IP地址，提高爬虫效率。1.3 动态代理IP类别

　　动态代理IP又分为透明代理、匿名代理、高匿名代理。

　　由此可见代理IP的质量实力。对于网络爬虫，您可以根据自己的需要购买定制的动态IP。

　　高安全代理自然是动态代理IP类型中质量最好的。很多企业爬虫用户会选择隧道转发的高安全爬虫代理IP来提供业务需求，保证自己的业务成果和质量。

　　透明代理和匿名代理虽然也是代理IP，但是大大降低了爬虫业务的进度和效率。因此，网络爬虫选择隧道转发的爬虫代理是正确的选择。

　　二、如何申请动态ip代理2.1选择合适的代理IP网站

　　简单介绍一下动态代理IP的概念和好处，然后说一下如何申请这个动态代理IP。

　　目前代理IP网站很多，价格根据稳定性和安全性差别很大。

　　然后我这里用的是IPIDEA网站，现在新用户有500M的免费流量，正好可以用来做实验。

　　只需点击注册：

　　输入网站后，点击Get Proxy -> API Get

　　然后根据自己的喜好选择数量和地区，其他使用默认选项，然后点击下方生成链接

　　如果没有实名认证，会跳出这个界面，直接点击认证

　　然后复制我们生成的链接。此链接应保存并稍后在使用 Python 进行爬网时使用。

　　单独复制链接然后打开，会看到刚刚生成的IP，这部分可以用于我们自己浏览器的手动设置。

　　三、浏览器如何使用代理ip

　　在上一步中，我们获得了一个 ip 代理池。接下来以QQ浏览器为例，简单看看这些代理ip的使用方法。

　　在QQ浏览器菜单列表-设置-高级-网络-更改代理服务器设置

　　在弹出的 Internet 属性窗口中，单击 LAN 设置

　　填写我们复制的IP和端口号，点击OK

　　打开百度/谷歌搜索引擎，搜索：IP，查看当前代理后的IP地址

　　至此，我们已经成功使用了代理ip，接下来我们就可以使用代理ip做一些其他的事情了~

　　但这只是最简单的用法。更高级的应该在使用爬虫时使用动态IP代理池来达到更好的效果。

　　下面简单写一个使用代理ip访问CSDN博客个人主页的例子。

　　四、使用动态代理ip爬取Youtube游戏模块示例

　　用Python写一个简单的ip代理例子，以后用Python爬取其他一些数据的时候可以参考。

　　直接使用requests模块，然后添加随机请求头模块fake_useragent和UserAgent。

　　以下是 Youtube 游戏模块的简单示例。界面内容如下：

　　完整代码如下图，注释也很详细，就不多解释了。

　　# 微信搜索：[呆呆敲代码的小Y]，回复[白嫖]获取超多精品编程学习资料！！

# 爬虫使用代理IP

# 导入模块：requests、fake-useragent、UserAgent

import requests

from fake_useragent import UserAgent

# 要访问的url地址

url='https://www.youtube.com/gaming'

# 随机请求头

headers={'User-Agent':UserAgent().random}

# 代理ip 的API(IPIDEA网站获取的)

api_url='http://tiqu.ipidea.io:81/abroad?num=100&type=1&lb=1&sb=0&flow=1&regions=&port=1'

res = requests.post(api_url,headers=headers, verify=True)

# proxies = {'协议': '协议://IP:端口号'}

proxie = "https://%s"%(res.text)

proxies = {'http': proxie}

# 打印所有的代理ip

print(proxies)

# 访问Youtube游戏模块测试并输出结果

html=requests.get(url=url,headers=headers,proxies=proxies).text

print(html)

# 微信搜索：[呆呆敲代码的小Y]，回复[白嫖]获取超多精品编程学习资料！！

　　运行效果如下：

　　爬取Youtube游戏模块首页的完整信息如下：

　　这里只是一个使用代理ip爬取Youtube游戏模块首页的演示。善用动态代理ip，可以使用的东西更多。让我们自己体验一下吧！

　　只要能用爬虫，我们可以自定义一个时间自动切换IP，这样在爬取大量数据时，就可以避免访问受限，提高爬虫的效率。