抓取网页生成电子书(廖雪峰的Python教程爬下来做成PDF电子书方便大家离线阅读)

　　抓取网页生成电子书(廖雪峰的Python教程爬下来做成PDF电子书方便大家离线阅读)

　　写爬虫似乎并不比使用Python更合适。Python社区提供的爬虫工具让你眼花缭乱。各种可以直接使用的库，分分钟写一个爬虫。今天想写一个爬虫。, 爬下廖雪峰的Python教程，做成PDF电子书供离线阅读。

　　在开始写爬虫之前，我们先来分析一下网站1的页面结构。页面左侧为教程目录大纲。每个URL对应右边文章的一篇文章，右上角是文章的标题，中间是文章的正文部分。正文内容是我们关注的重点。我们要抓取的数据是所有网页的正文部分。下面是用户的评论区。评论区对我们来说没用，可以无视。

　　工具准备

　　搞清楚网站的基本结构后，就可以开始准备爬虫所依赖的工具包了。requests和beautifulsoup是爬虫的两大神器，reuqests用于网络请求，beautifulsoup用于操作html数据。有了这两个班车，我们就可以顺利工作了。我们不需要像scrapy这样的爬虫框架。小程序有点大锤。另外，既然是把html文件转成pdf，就得有相应的库支持。wkhtmltopdf 是一个非常好的工具。它可用于从 html 到 pdf 的多平台转换。pdfkit 是 wkhtmltopdf 的 Python 包。先安装以下依赖包，然后安装wkhtmltopdf

　　pip install requests

pip install beautifulsoup

pip install pdfkit

　　安装 wkhtmltopdf

　　Windows平台直接从wkhtmltopdf官网下载稳定版2进行安装。安装完成后，将程序的执行路径添加到系统环境$PATH变量中，否则pdfkit找不到wkhtmltopdf并出现“No wkhtmltopdf executable found”的错误提示。Ubuntu 和 CentOS 可以直接从命令行安装

　　$ sudo apt-get install wkhtmltopdf # ubuntu

$ sudo yum intsall wkhtmltopdf # centos

　　爬虫实现

　　一切准备就绪后，就可以开始编写代码了，但是在编写代码之前，我们先来梳理一下您的想法。该程序的目的是将URL对应的所有html body部分保存到本地，然后使用pdfkit将这些文件转换成pdf文件。让我们拆分任务。首先将某个URL对应的html body保存到本地，然后找到所有的URL进行同样的操作。

　　使用Chrome浏览器找到页面body部分的标签，按F12找到body对应的div标签：

　　,div是网页的正文内容。使用requests在本地加载整个页面后，可以使用beautifulsoup操作HTML的dom元素来提取body内容。

　　具体实现代码如下： 使用soup.find_all函数查找body标签，然后将body部分的内容保存在a.html文件中。

　　def parse_url_to_html(url):

response = requests.get(url)

soup = BeautifulSoup(response.content, "html5lib")

body = soup.find_all(class_="x-wiki-content")[0]

html = str(body)

with open("a.html", 'wb') as f:

f.write(html)

　　第二步是解析出页面左侧的所有URL。同样的方法，找到左边的菜单标签