网页数据抓取( 网络爬虫就是获取网页信息的简单爬虫方法)

　　网页数据抓取(

网络爬虫就是获取网页信息的简单爬虫方法)

　　

　　

　　（1)protocol：第一部分是协议，比如百度使用的是https协议；

　　（2)hostname[:port]：第二部分为主机名（端口号为可选参数），一般网站默认端口号为80，例如百度的主机名是，这是服务器的地址；

　　（3)path：第三部分是宿主机资源的具体地址，如目录、文件名等。

　　网络爬虫根据这个 URL 获取网页信息。

　　简单爬虫示例

　　在 Python3.x 中，我们可以使用 urlib 组件来抓取网页。urllib 是一个 URL 处理包。这个包收录

一些处理 URL 的模块，如下：

　　

　　进群：960410445获取源码！

　　1.urllib.request 模块用于打开和读取 URL；

　　2.urllib.error 模块中收录

了 urllib.request 产生的一些错误，可以通过 try 捕获和处理；

　　3.urllib.parse 模块收录

一些解析 URL 的方法；

　　4.urllib.robotparser 模块用于解析 robots.txt 文本文件。它提供了一个单独的RobotFileParser类，可以通过该类提供的can_fetch()方法来测试爬虫是否可以下载一个页面。

　　我们使用 urllib.request.urlopen() 接口函数来方便地打开一个网站，阅读和打印信息。

　　

　　urlopen 有一些可选参数。具体信息请参考Python自带的文档。

　　知道了这些，我们就可以写出最简单的程序了，文件名是urllib_test01.py，感受一下一个urllib库的魅力：

　　

　　urllib 使用 request.urlopen() 打开和读取 URLs 信息，返回的对象 response 就像一个文本对象，我们可以调用 read() 来读取它。然后使用print()将读取的信息打印出来。

　　运行程序ctrl+b，可以在Sublime中查看结果，如下：

　　

　　您也可以在 cmd（控制台）中输入命令：

　　python urllib_test01.py

　　运行py文件，输出信息相同，如下：

　　

　　其实这是浏览器接收到的信息，但是我们在使用浏览器的时候，浏览器已经把这些信息转换成界面信息供我们浏览了。

　　当然，我们也可以从浏览器中查看这些代码。

　　比如使用谷歌浏览器，在任意界面右击选择Check，即勾选元素（不是所有页面都可以勾选元素，

　　比如中文网站起点付费章节就不行），以百度界面为例，截图如下：

　　

　　如您所见，我们的审核结果在右侧。我们可以在本地更改元素，即浏览器（客户端），但这不会上传到服务器。例如，我可以修改我的支付宝余额并安装一个包，例如：

　　

　　我真的有钱吗？显然，如果我被迫这样做，我就没有钱了。我刚刚修改了review元素的信息。

　　有一些偏差，但事实是浏览器作为客户端从服务器获取信息，然后解析信息，然后显示给我们。

　　回到正题，虽然我们成功获取到了信息，但很明显，都是二进制乱码，看起来很不方便。我们该怎么办？

　　我们可以通过一个简单的decode()命令来解码网页的信息并显示出来。我们新建一个文件，命名为urllib_test02.py，编写如下代码（再次以百度翻译网站为例）：

　　

　　这样，我们就可以得到这个结果。显然，解码后的信息看起来更整洁、更舒服：

　　

　　当然，这个前提是我们已经知道这个网页是utf-8编码的，如何查看网页的编码方式呢？

　　需要人工操作，一个很简单的方法就是使用浏览器查看元素。只需要找到head标签开头的chareset就知道网页使用的是哪种编码。如下：

　　

　　这样，我们就知道了这个网站的编码方式，但这需要我们每次打开浏览器，查找编码方式。显然是有点麻烦。用几行代码来解决，更省事，更爽。

　　一种自动获取网页编码方式的方法

　　获取网页代码的方式有很多种，我个人更喜欢使用第三方库。

　　首先，我们需要安装第三方库chardet，这是一个用于确定编码的模块。安装方法如下图所示。只需输入命令：

　　

　　安装后，我们可以使用chardet.detect()方法来判断网页的编码方式。

　　此时，我们可以编写一个小程序来判断网页的编码方式，新建文件名为chardet_test01.py：

　　

　　运行程序，查看输出结果如下：

　　

　　返回的是一个字典，让我们知道网页的编码方式，可以根据得到的信息使用不同的解码方式。