python抓取动态网页(Python下的爬虫库，基于urllib，但是更方便易用)

　　python抓取动态网页(Python下的爬虫库，基于urllib，但是更方便易用)

　　Python下的爬虫库一般分为3类python大网站。

　　爬虫类

　　urllib(Python3)，这是Python自带的一个库，可以模拟浏览器请求，获取Response进行解析，提供了丰富的请求方法，支持Cookiespython*敏*感*词*网站，Headers，等类参数，很多爬虫库基本都是基于它构建的，建议学习一下，因为一些少见的问题需要底层方法解决。

　　requestspython large 网站，基于urllib，但使用更方便。强烈建议精通。

　　解析类

　　re: 官方正则​​表达式库python大网站，不仅是为了学习爬虫使用，在其他字符串处理或者自然语言处理的过程中，这是一个绕不开的库，强烈推荐掌握。

　　BeautifulSoup：好用的python大网站，好用，推荐掌握。通过选择器选择页面元素并获取相应的内容。

　　lxml：使用

　　lxml.etree

　　转换字符串后，我们可以使用XPath表达式来解析网页，终极推荐。XPath 对网页解析的支持非常强大且易于使用。它最初是为 XML 元素选择而设计的，但它也支持 HTML。

　　pyquery：另一个强大的解析库，有兴趣的可以学习一下。

　　各种各样的

　　Selenium：所见即所得的爬虫，集爬取和解析两种功能于一体，提供一站式解决方案。很多动态网页都不容易通过requests和scrapy直接爬取。例如，一些 url 后面有加密的随机数。这些算法不容易破解。页面源代码，直接从网页元素中解析内容，在这种情况下，Selenium 是最好的选择。但是 Selenium 最初是为测试而设计的。强烈推荐。

　　scrapy：又一个爬虫神器，适用于爬取大量页面，甚至对分布式爬虫提供了很好的支持。强烈推荐。

　　这些是我个人经常使用的库，但还有许多其他工具值得学习。比如Splash还支持动态网页的爬取；Appium可以帮助我们抓取App的内容；Charles可以帮我们抓取数据包，无论是移动端还是PC网页，都有很好的支持；pyspider 也是一个综合框架；MySQL（pymysql）、MongoDB（pymongo），数据抓取的时候一定要存储，不能绕过数据库。

　　掌握了以上，基本上大部分爬虫任务对你来说都不难了！

　　也可以关注我的头条号，或者我的个人博客，会有一些爬虫分享。计数孔：/

　　公司一般用什么语言做网站后端，什么数据库？

　　谁让你开发网站后台使用java，PHP、.net、python、C++等都可以。后端开发使用的语言完全取决于需求、团队的技术栈、现有系统的架构……如果是个人网站，应该简单粗暴保存钱，linux+apache+php+mysql的lamp架构就够了。如果是企业内部系统，运行windows系统，最好使用.net+sql server。后端是基于python的。电子政务，大网站喜欢用Java。java做网站backend不是因为java生来就是做网站backend，相反java并不是特别“适合”开发web，学着用数据库开发一个简单的程序，php要快很多. Java的优势在于框架和生态，很容易找到一堆Java技术不错、价格低廉的程序员。通常很难找到这么多廉价而熟练的其他语言程序员。其实现在大中网站经常在后台混用多种语言。

　　如何使用 Python 抓取静态 网站 及其内部资源？

　　这个很简单，requests+BeautifulSoup的组合很容易实现。下面我简单介绍一下。有兴趣的朋友可以自己试一试。下面是爬虫百科网站数据的例子（静态网站）：

　　1.首先，安装requets 模块。只需在cmd窗口中输入命令“pip install requests”即可，如下：

　　2. 然后安装 bs4 模块，其中包括 BeautifulSoup。如果安装了，直接像requests一样输入安装命令“pip install bs4”即可，如下：

　　3.最后是requests+BeautifulSoup的组合爬虫百科，requests用来请求页面，BeautifulSoup用来解析页面提取数据。主要步骤及截图如下：

　　这里假设爬取的数据收录以下字段，包括用户昵称、内容、搞笑数和评论：

　　然后打开对应网页的源码，可以直接看到字段信息，内容如下，嵌套在各个标签中，然后解析这些标签提取数据： 基于以上网页内容，测试代码如下，很简单，直接找到对应的标签，提取文本内容即可：

　　程序运行截图如下，成功抓取网站的数据：

　　至此，我们已经完成了使用python爬取到静态网站。总的来说，整个过程非常简单，也是最基本的爬虫内容。只要有一定的python基础，熟悉上面的例子，就能很快掌握。当然，你也可以使用 urllib 来匹配正则表达式。等等，没关系，网上也有相关的教程和资料，介绍的很详细，有兴趣的可以搜索一下，希望上面分享的内容能对你有所帮助，欢迎评论并留言补充。