Python网路爬虫之必备工具

　　网络爬虫（又被称为网页蜘蛛，网络机器人），是一种根据一定的规则，自动的抓取万维网信息的程序或则脚本。那么要学会并精通Python网络爬虫，我们须要打算什么知识和工具那？

　　1 Python基础知识

　　Python作为现今最流行的编程语言之一爬虫工具，其强悍之处也是毋庸置疑的，利用Python写网路爬虫是最好不过的选择啦，所以万丈高楼平地起，学习网路爬虫最最基本的就是要把握Python编程的基础知识，了解以下几点即可：

　　基本数据结构数据类型控制流函数的使用模块的使用Python学习教程推荐：

　　（1）廖雪峰之Python教程。具体学习网址百度一下就可以，其讲解堪称通俗易懂，学习上去特别快。

　　（2）Python简明教程

　　2 开发环境

　　操作系统：Windows7及以上

　　Python版本：Python3.x

　　代码开发环境：个人比较推荐PyCharm作为自己的IDE，当然你也可以按照自己的使用习惯选择代码编辑器，如Notepad++等

　　3 Python库

　　一般网路爬虫所需根据的库有：

　　urllib和urllib2库

　　这两个库是学习爬虫最基本的库，其才能将URL所指定的网路资源（HTML）获得，并可用正则表达式对其内容进行提取爬虫工具，进而得到我们想要的结果。

　　Pythonre模块

　　re模块是Python提供的用于字符串匹配非常好用的工具，其设计思想就是借助一种描述性语言来定义字符串的规则，凡是符合这一规则的字符串，则表明就匹配成功，这就是我们熟悉的正则表达式。利用re模块提供的抒发功能，我们可以很方便从爬取到的网页内容中匹配出须要的内容数据。

　　BeautifulSoup库

　　此库是一个强悍的解析文档工具箱，其才能将我们爬取的到HTML页面内容解析成一个复杂的树状结构，每一个节点都是一个Python对象，具体讲在前面给你们详尽讲解。

　　以上介绍都是一些基本爬取所需的库，当然假如你想做一个有深度的爬虫，还须要把握如requests库、pymongo库、selenium库等，等把握的差不多了，还可以学习一下爬虫框架Scrapy。