如何用于爬取网页的urllib2框架，实现网页解析？

　　如何用于爬取网页的urllib2框架，实现网页解析？

　　文章采集工具在过去已经有好多人介绍过，但是我们今天想跟大家介绍的是如何使用urllib2框架，实现网页解析。其实urllib2在现在还是非常热门的一个网页抓取工具，基本上每个网站或者app都会安装这个工具，在网页抓取或者爬虫中起着非常重要的作用。但是在前端开发当中会用到的就更多了，今天就带大家简单了解一下用于爬取网页的urllib2框架。

　　网页解析首先让我们来看一下urllib2的官方例子，urllib2并不是一个获取网页链接的开源库，其他爬虫框架都是基于http协议实现的，这是因为我们要爬取网页的主要目的就是获取网页链接。爬取网页的链接可以使用我们的工具进行get请求，也可以使用headers和post请求，采用哪种方式还是需要取决于每个网站使用的框架和协议。

　　网页解析可以分为几个步骤。第一步：获取网页的爬取地址。第二步：解析网页。第三步：返回解析之后的url。第四步：向服务器请求数据。第五步：响应数据回来。我们以获取首页url为例子。步骤：第一步：我们可以通过浏览器的headers与自定义的headers中取得urllib2库获取的url地址。这里简单看一下urllib2爬取网页的结构。

　　可以看到urllib2的url是一个列表，每个元素则是一个dom节点，查询url中第一项即是所在的网页。接下来，我们可以使用alert函数获取到页面内容。alert(str($。

　　1)),alert(str($

　　2)),alert(str($

　　3)),alert(str($

　　4)),alert(str($

　　5)),alert(str($

　　6)),alert(str($

　　7)),urllib2会提示爬取的链接不存在，如果不存在需要更改首页url。除了这个列表，页面中其他的标签也是通过一个个dom节点得到。根据上面的输出结果，我们可以知道urllib2根据headers中href部分提供的url获取网页地址，并将url重定向到首页地址。然后我们使用alert函数去请求服务器返回的内容。

　　第二步：解析我们可以通过urllib2的接口来解析html页面。urllib2接口很多可用的方法，列举几个常用的。如果链接中没有http协议，那么我们需要接收到响应的http头。如果我们使用post请求，需要要获取客户端应该传递给服务器的一些信息，如cookie，最好使用aes加密。使用get请求的话，那么必须要记得服务器端传递到客户端的html内容。

　　首先我们要安装urllib2.urllib2()我们可以看到代码中有这么一句：exports.urllib2=urllib2.urlopen(url)将urllib2中的urlref设置为readable就可以用urllib2来解析网页。urllib2.urlope。