c爬虫抓取网页数据的选择思路及选择方法介绍-requests

　　c爬虫抓取网页数据的选择思路及选择方法介绍-requests

　　c爬虫抓取网页数据的工具很多，比如requests、beautifulsoup等等；另外爬虫还可以用scrapy框架做反爬虫。甚至apache/nginx做反反爬虫也可以。本文会结合requests做网页反爬虫。文章包含以下主要内容1.介绍一下requests库2.先介绍爬虫是怎么获取网页数据的3.解决爬虫服务器速度慢、不稳定的问题4.在各种网页爬虫框架中的选择思路5.requests详细流程看起来主要内容不多，一行代码搞定，但上述一些问题确很麻烦。

　　以上每一个都会成为一篇文章，首先说明这里每一个主要代码单独抽取下即可，其实大多是我写的。再说明上述操作本质上是对url和网页元素进行了解析。由于requests方便的处理url，因此解析html这件事可以交给自己来做。requests最简单的实现抓取网页时，没有必要在html网页处理过程中还需要保存html信息，基本步骤：1.获取网页包含信息2.解析html3.存储数据对爬虫爬取html来说，需要经历requests库爬取网页时传递参数，传递到selenium线程池，由线程池来解析html信息。

　　selenium不需要保存任何网页信息，直接处理后分析为webapi输出即可。所以上述的各个步骤和html编码没有太大关系。也不要问为什么不用xpath，因为xpath和html编码不一样，在抓取网页时必须转换为xpath/emoji可读语言才能读取正常。现在有一些爬虫框架都有支持requests,比如scrapy、kibana和motrix；正因为requests简单，因此其解析html的方式也简单；我们介绍一下其中一些爬虫框架的爬取html的方式。

　　这样的主要目的是想通过对requests的熟悉，进一步使用其他框架做爬虫之类的。requestsjs官网：requests的一个重要版本，很多第三方包支持其爬取html信息。javascript解析html模块库：v8解析javascript/text/string，使用jsonp：直接发送http请求或是使用浏览器的浏览器api返回html数据，jquery解析javascript代码，并将javascript数据以html数据格式返回。

　　prestojs(已经被大弃)/zeptojs(github)requestsjs的主要代码都来自于这里；web容器：injection来负责生成html标签和处理html；有一个重要组件是seleniumdriver和requests的交互，getseleniumdriver做的事情非常类似于html编程中的函数调用，类似于open和session来做html编程中的dom操作；httpurlconnectionhttpconnection负责接收请求并处理响应，并且通过post请求，向服务器发送数据，请求的格式使用headers:attributes:user-agent:mozilla/5.0(ipad;cpuiphoneosx10_。