动态网页抓取(来列一列网络爬虫的知识框架介绍及学习方法)

　　动态网页抓取(来列一列网络爬虫的知识框架介绍及学习方法)

　　大家都知道，在学习一门学科的时候，一定要了解它的知识框架，才能学的清楚、有系统。这里有一个python网络爬虫知识框架列表，帮助你有效学习和掌握，避免不必要的坑。

　　总的来说，python网络爬虫有五个主要方面：

　　前端知识-基础爬虫-框架爬虫-分布式爬虫-突破反爬虫

　　1.前端知识：

　　“网络爬虫”显然是针对网络的，即网页。说到网页，这里就涉及到前端知识了，不过不要慌，只要知道必要的HTML5框架，网页的http请求，JavaScript和css3的知识，就可以在这里学习等级。爬行动物的。当然，如果你想非常精通python网络爬虫，前端知识的深度学习是必要的。

　　2.基础爬虫：

　　(1）基础库：urllib 模块/requests 第三方模块

　　首先爬虫是从网页中抓取我们需要的信息，然后我们需要学习urllib/requests模块，它负责对网页进行爬取。在这里你可以使用任何你认为你想使用的习惯，选择一个熟练的就行了。小编推荐读者使用requests模块，因为这个更简单，更容易操作，也更容易理解，所以requests被称为“人性化模块”。

　　(2）多处理、多线程和协程：

　　为什么要学习三个知识？如果要爬取200万条数据，使用一般的单进程或单线程，爬取下载这些数据可能需要一周甚至更长的时间。这是你想看到的结果吗？显然单进程单线程不符合我们追求的高效率，太浪费时间了。只要设置很多进程和线程，爬取数据的速度可以提高10倍甚至更高。

　　(3）网页解析提取库：xpath/BeautifulSoup4/正则表达式

　　通过前面的(1）和(2）)爬取网页的源码，这里有很多不是我们想要的信息，所以需要过滤掉无用的信息，留给我们很有价值的信息，这里一共有三种解析器，三种在不同场景下各有特点和不足，总的来说，学会灵活使用这三种会很方便，推荐给有心的朋友不是很懂或者我是刚开始爬的朋友，学习BeautifulSoup4很容易掌握，可以很快应用到实战中，功能也很强大。

　　(4）反掩码：请求头/代理服务器/cookie

　　有时候爬网页会失败，因为其他网站设置了反爬措施。这时候，我们需要伪装自己的行为，让对方网站无法意识到我们是爬虫。请求头设置主要是模拟浏览器的行为；如果IP被封，需要使用代理服务器破解；并且cookie被模拟为输入网站的登录行为。

　　(5）Exception: 超时处理/异常处理，这里就不介绍了，自己去了解一下。

　　(6）数据存储库：文件系统存储/MySQL/MongoDB

　　存储数据的方式大致有三种。文件系统存储使用python文件操作进行；MySQL使用数据库创建表来存储数据；MongoDB是爬虫中非常好的一种存储方式，分布式爬虫就是使用MongoDB存储的。各有特点，看你需要哪一种，灵活运用。

　　(7）动态网页抓取：Ajax/PhantomJS/Selenium的三个知识点

　　(8）捕获：APP捕获/API爬虫

　　3.框架爬虫：主流流行的scrapy框架/人性化的pyspider框架

　　不止这两个框架，但是很多情况下只用到这两个框架，所以熟悉这两个就足够了。

　　4.分布式爬虫：python操作Redis/scrapy操作Redis5.突破性反爬虫：用户代理池/禁用cookies/设置下载延迟和自动限速/代理IP池/tor代理/分布式下载器

　　以上就是python网络爬虫从入门到精通的知识框架。希望这篇文章可以让读者高效地学习python网络爬虫。