抓取网页生成电子书(Windows,OSX及Linux操作系统格式的在线资料格式)

　　抓取网页生成电子书(Windows,OSX及Linux操作系统格式的在线资料格式)

　　自从我买了kindle，我就一直在想如何最大限度地发挥它的功效。虽然可供购买的书籍很多，网上也有很多免费的电子书，但还是有很多网页形式的有趣内容。例如，O'Reilly Atlas 提供了很多电子书，但只提供免费在线阅读；此外，许多材料或文件只是网络形式。所以我希望能以某种方式将这些网上资料转成epub或mobi格式，以便在kindle上阅读。本文文章介绍了如何使用calibre并编写少量代码来实现这一目标。

　　Calibre 简介

　　Calibre 是一款免费的电子书管理工具，兼容 Windows、OS X 和 Linux。令人欣慰的是，除了GUI，calibre 还提供了很多命令行工具。ebook-convert 命令可以基于用户编写的食谱。该文件（实际上是python代码）抓取指定页面的内容，生成mobi等格式的电子书。爬取行为可以通过编写recipe来定制，以适应不同的网页结构。

　　安装口径

　　Calibre的下载地址是，您可以根据自己的操作系统下载相应的安装程序。

　　如果是Linux操作系统，也可以通过软件仓库安装：

　　Archlinux：

　　pacman -S calibre

　　Debian/Ubuntu：

　　apt-get install calibre

　　红帽/Fedora/CentOS：

　　yum -y install calibre

　　请注意，如果您使用 OSX，则需要单独安装命令行工具。

　　抓取网页以生成电子书

　　下面以Git Pocket Guide为例，说明如何通过calibre从网页中生成电子书。

　　找到索引页

　　要爬取整本书，首先要找到索引页。这个页面一般是目录，也就是目录页面，其中每个目录链接都连接到相应的内容页面。在生成电子书时，索引页会指导抓取哪些页面以及内容组织的顺序。在这个例子中，索引页是。

　　写食谱

　　Recipes 是一个带有配方扩展名的脚本。内容其实是一段python代码，定义了calibre爬取页面的范围和行为。以下是爬取 Git Pocket Guide 的秘籍：

　　from calibre.web.feeds.recipes import BasicNewsRecipe

class Git_Pocket_Guide(BasicNewsRecipe):

title = 'Git Pocket Guide'

description = ''

cover_url = 'http://akamaicovers.oreilly.com/images/0636920024972/lrg.jpg'

url_prefix = 'http://chimera.labs.oreilly.com/books/1230000000561/'

no_stylesheets = True

keep_only_tags = [{ 'class': 'chapter' }]

def get_title(self, link):

return link.contents[0].strip()

def parse_index(self):

soup = self.index_to_soup(self.url_prefix + 'index.html')

div = soup.find('div', { 'class': 'toc' })

articles = []

for link in div.findAll('a'):

if '#' in link['href']:

continue

if not 'ch' in link['href']:

continue

til = self.get_title(link)

url = self.url_prefix + link['href']

a = { 'title': til, 'url': url }

articles.append(a)

ans = [('Git_Pocket_Guide', articles)]

return ans

　　代码的不同部分解释如下。

　　整体结构

　　一般来说，一个recipe是一个python类，但是这个类必须继承calibre.web.feeds.recipes.BasicNewsRecipe。

　　解析索引

　　整个recipe的核心方法是parse_index，这也是recipes必须实现的唯一方法。该方法的目标是通过分析索引页的内容，返回一个稍微复杂一些的数据结构（稍后介绍）。这个数据结构定义了整个电子书的内容和内容组织顺序。

　　整体属性设置

　　在类的开头，定义了一些全局属性：

　　title = 'Git Pocket Guide'

description = ''

cover_url = 'http://akamaicovers.oreilly.com/images/0636920024972/lrg.jpg'

url_prefix = 'http://chimera.labs.oreilly.com/books/1230000000561/'

no_stylesheets = True

keep_only_tags = [{ 'class': 'chapter' }]

　　title: 电子书标题描述: 电子书描述 cover_url: 电子书的封面图片 url_prefix: 这是我自己的属性，它是内容页的前缀，用于组装内容的完整url page later no_stylesheets：不使用页面的CSS样式 keep_only_tags：这一行告诉Calibre在分析索引页面时只考虑class属性为“chapter”的DOM元素。如果你查看索引页的源码，你会发现这对应的是一级标题。这样做的原因是在这个例子中，每个索引页的一级标题对应一个独立的内容页，二级标题只链接到页面中的一个锚点，所以只有一级标题的返回值需要考虑-level title parse_index

　　下面通过分析索引页来描述parse_index需要返回的数据结构。

　　

　　整体的返回数据结构是一个列表，其中每个元素是一个元组，一个元组代表一个卷。在这个例子中，只有一个卷，所以列表中只有一个元组。

　　每个元组有两个元素，第一个元素是卷名，第二个元素是一个列表，列表中的每个元素是一个映射，代表一个章节（章节），映射中有两个元素： title 和 url ， Title是章节的标题，url是章节所在的内容页面的url。

　　Calibre 会根据parse_index 返回的结果对整本书进行爬取和组织，并自行爬取处理内容内外的图片。

　　整个parse_index使用soup解析索引页，生成上述数据结构。

　　更多的

　　以上是最基本的食谱。如果您想了解有关如何使用它们的更多信息，可以参考 API 文档。

　　生成手机

　　写好菜谱后，可以在命令行中使用以下命令生成电子书：

　　ebook-convert Git_Pocket_Guide.recipe Git_Pocket_Guide.mobi

　　您可以生成mobi 格式的电子书。ebook-convert 会爬取相关内容，根据配方代码自行组织结构。

　　最终效果

　　下面是在kindle上看到的效果。

　　内容

　　

　　内容一

　　

　　内容二

　　

　　带图片的页面

　　

　　实际效果

　　

　　我的食谱仓库

　　我在 github 上构建了一本 Kindle-open-books，其中收录一些我自己写的和其他学生贡献的食谱。欢迎任何人提供食谱。