抓取网页生成电子书(抓取网页生成电子书pdf入门篇：动态页面抓取代码)

　　抓取网页生成电子书(抓取网页生成电子书pdf入门篇：动态页面抓取代码)

　　抓取网页生成电子书pdf文件就像抓取某个网站上面的内容做数据分析，是相对非常耗时且麻烦的事情。（至少没有google搜索速度快）书籍的电子版本也同样，本人一直在摸索如何获取免费的电子版本，相关的书籍和文章都是一些在别人分享资源的文章或是一些老人写的关于记笔记读书笔记的文章。这里没有认真做答。如果你已经学会了网页爬虫，那应该还可以进行一些数据分析，关于linux（平时会遇到很多问题，或者学习一个新语言的时候，我都会学习下linux，以前就是因为它安装比较简单）或是安卓（基本没碰过），使用wp7.1等等系统安装kindle，或是获取网页信息生成电子书。

　　爬虫入门篇：入门篇就是我写的博客（csdn博客），结尾有附上本人整理的一些爬虫入门知识，敬请一看。（写完之后只是更方便上手）比较复杂，需要学习的东西较多。学校里面有开专业课程，但是也不是很多。毕竟每个人学习能力不同，个人觉得都是些收获而已。01数据结构和算法数据结构看看python里面和它相关的数据结构就可以了，学完基本python里面的数据结构就差不多可以了。

　　在python里面有可能遇到一些问题，使用谷歌搜索。我觉得只要有毅力，个人推荐上网去看一下这些内容，就相当于看着说明书学习吧，那会学习起来有一定的挑战性。02网页抓取与网页分析今天学习的是爬取网页来分析网页内容。这部分主要包括动态页面抓取和静态页面爬取。就像人一样，他的生活方式都是与社会相适应的。用网页抓取和网页分析来理解代码。

　　今天主要是动态页面抓取，那我们来谈一下如何实现动态页面的抓取（数据抓取）。03selenium安装新建一个safari文件夹，并将其中的all_shells.py文件进行存放。（后面会用到）其中有三个文件，分别是charles配置文件、mon.py、爬虫的urllib.request.urlopen.py。

　　接下来依次来尝试和进行使用。（我们一步一步来）第一步：安装geckodriver。方法有很多种，我采用的方法是geckodriver-mac.sh.这个命令提示符，并且可以通过charles配置文件进行打开mon.py。注意的是我们在配置文件中，如果在引用某个python对象的时候，需要在标签中加上'../geckodriver/v4.xxx'，不然会报错。

　　例如下面代码所示，而且没有引用'../geckodriver/v4.xxx',这样会报错：error:thegeckodriverversionversion:11.0.1(nov2017,29,2077072).notinuseonthemacosxbrowser.使用方法是直接在mon.py中运。