Python爬虫：urllib读取网页生成DOM树技巧

　　Python 爬虫中，常用的一个模块就是 urllib ，而其中最重要的功能之一就是读取网页并生成 DOM 树。本文将介绍 urllib 的使用方法及其相关技巧，帮助你轻松掌握这一技能。

　　1. urllib 简介

　　urllib 是 Python 自带的 HTTP 请求库，由于其简单易用、功能强大，成为 Python 爬虫中不可或缺的一部分。它支持 HTTP、HTTPS、FTP 请求，包含了请求、响应、Cookie、认证等功能。

　　2. urllib 的使用

　　使用 urllib 发送 HTTP 请求非常简单。我们只需要构造一个 Request 对象，并调用 urlopen()函数即可：

　　python

import urllib.request

url ='http://www.example.com/'

req = urllib.request.Request(url)

response = urllib.request.urlopen(req)

content = response.read().decode('utf-8')

　　在这个例子中，我们首先定义了一个 URL ，然后使用 Request 类构造了一个请求对象 req 。最后Python爬虫：urllib读取网页生成DOM树技巧，我们通过 urlopen()函数发送请求urllib 读取网页 生成dom树，并获取到了响应对象 response 。我们可以通过 read()方法获取到响应内容Python爬虫：urllib读取网页生成DOM树技巧，并使用 decode()方法将其转换为字符串。

　　3.解析 HTML

　　urllib 读取网页后，我们需要对其进行解析。常见的解析库有 BeautifulSoup 和 lxml 。在本文中，我们将使用 BeautifulSoup 进行解析。

　　首先，我们需要安装 BeautifulSoup ：

　　python

pip install beautifulsoup4

　　然后，我们可以使用 BeautifulSoup 对 HTML 进行解析：

　　python

from bs4 import BeautifulSoup

soup = BeautifulSoup(content,'html.parser')

　　在这个例子中，我们首先导入了 BeautifulSoup 类，然后使用它解析了之前获取到的 content 。第二个参数'html.parser'表示使用 Python 自带的 HTML 解析器进行解析。

　　4.查找元素

　　解析完 HTML 后，我们需要查找其中的元素。BeautifulSoup 提供了许多方法来查找元素，包括 find_all()、find()、select()等。

　　

　　python

#使用 find_all()方法查找所有<a>标签

links = soup.find_all('a')

for link in links:

print(link.get('href'))

　　在这个例子中，我们使用 find_all()方法查找了所有<a>标签urllib 读取网页 生成dom树，并打印出了它们的 href 属性。

　　5.处理 Cookie

　　有些网站需要登录后才能访问。我们可以使用 urllib 来处理 Cookie 以实现自动登录。

　　python

import http.cookiejar

import urllib.request

#创建 CookieJar 对象

cookie_jar = http.cookiejar.CookieJar()

#创建 HTTPCookieProcessor 对象，并将其绑定到 opener 上

opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie_jar))

urllib.request.install_opener(opener)

#发送登录请求

login_data ={'username':'admin','password':'123456'}

login_url ='http://www.example.com/login'

req = urllib.request.Request(login_url, data=urllib.parse.urlencode(login_data).encode('utf-8'))

response = urllib.request.urlopen(req)

#访问需要登录的页面

url ='http://www.example.com/secret'

req = urllib.request.Request(url)

response = urllib.request.urlopen(req)

content = response.read().decode('utf-8')

　　在这个例子中，我们首先创建了一个 CookieJar 对象，用于存储 Cookie 。然后，我们创建了一个 HTTPCookieProcessor 对象，并将其绑定到 opener 上。接着，我们发送了一个登录请求，并访问了需要登录才能访问的页面。

　　6.处理异常

　　在爬取网页时，经常会遇到各种异常情况。urllib 提供了一些异常类来处理这些异常。

　　python

import urllib.error

try:

response = urllib.request.urlopen('http://www.example.com')

except urllib.error.HTTPError as e:

print(e.code,e.reason)

except urllib.error.URLError as e:

print(e.reason)

else:

content = response.read().decode('utf-8')

　　在这个例子中，我们使用 try-except 语句捕获了可能出现的 HTTPError 和 URLError 异常。如果没有出现异常，则打印出请求到的内容。

　　7.使用代理

　　有些网站会限制同一 IP 的访问次数。我们可以使用代理服务器来避免这种限制。

　　python

import urllib.request

proxy_handler = urllib.request.ProxyHandler({'http':'http://127.0.0.1:8888'})

opener = urllib.request.build_opener(proxy_handler)

urllib.request.install_opener(opener)

response = urllib.request.urlopen('http://www.example.com')

content = response.read().decode('utf-8')

　　在这个例子中，我们创建了一个 ProxyHandler 对象，并将其绑定到 opener 上。然后，我们发送了一个请求，并使用代理服务器访问了网站。

　　8.总结

　　本文介绍了如何使用 urllib 读取网页并生成 DOM 树。我们还讨论了如何解析 HTML、查找元素、处理 Cookie、处理异常、使用代理等相关技巧。希望本文能够帮助你轻松掌握 Python 爬虫中的重要技能。