假如你早已开始学python，对爬虫没有头绪，不妨瞧瞧这几个案例！

　　

　　一、论述

　　这几个案例曾经是给一些想步入Python行业的同事写的，看到你们都比较满意，所以就再度拿了下来，如果你早已开始学python，对爬虫没有头绪，不妨瞧瞧这几个案例，文末更多分享！

　　二、环境打算

　　Python 3

　　requests库 、lxml库、beautifulsoup4库

　　pip install XX XX XX一并安装。

　　在这里相信有许多想要学习Python的朋友，大家可以+下Python学习分享裤：叁零肆+零伍零+柒玖玖，即可免费发放一整套系统的 Python学习教程

　　

　　三、Python爬虫小案例

　　1、获取本机的公网IP地址

　　利用python的requests库+公网上查IP的插口，自动获取IP地址

　　

　　2、利用百度的查找插口，Python编撰url采集工具

　　需要用到requests库、BeautifulSoup库，观察百度搜索结构的URL链接规律，绕过百度搜索引擎的反爬虫机制的方式为在程序中设置User-Agent恳求头。

　　

　　Python源代码：

　　

　　Python语言编撰好程序后，利用关键词inurl:/dede/login.php 来批量提取某网cms的后台地址：

　　

　　3、利用Python构建搜狗壁纸手动下载爬虫

　　搜狗壁纸的地址是json格式，所以用json库解析这组数据，爬虫程序储存图片的c盘路径改成欲存图片的路径就可以了。

　　

　　效果图：

　　

　　4、Python手动填写问卷调查

　　

　　与通常网页一样，多次递交数据会要输入验证码，这就是反爬机制。

　　

　　如图：

　　

　　那么怎么绕开验证码的反爬举措？利用X-Forwarded-For伪造IP地址访问即可，Python代码如下：

　　

　　效果：

　　

　　

　　

　　5、获取南刺代理上的IP，验证这种代理被封禁掉的可能性与延后时间

　　可以把Python爬取的代理IP添加到proxychain上面，就可以进行通常的渗透任务了。这里直接调用了linux的系统命令ping -c 1 " + ip.string + " | awk 'NR==2{print}' - ，在Windows中运行此程序须要更改倒数第三行os.popen里的命令，修改为Windows才能执行的就可以了。

　　

　　爬取到的数据如图：

　　

　　演示：

　　

　　结论

　　其实我们能否用python做许多特别有趣的事。假如说里面的爬虫小案例无法够完全理解，那我最后再送上一套python爬虫*敏*感*词*系列的视频教程，私信小编007即可手动获取。