requests.post请求responselibrary：爬虫工具库中的核心库

　　requests.post请求responselibrary：爬虫工具库中的核心库

　　自动采集文章文章抓取-效率工具箱实现点击一篇文章，自动抓取并保存到excel中，数据可以按天、月、季度、年进行查询，数据量多且有api可调。requests：网络请求responselibrary：爬虫工具库requests库中的核心库是requests.post，它使用xpath编码发送http请求。

　　requests.post并不是简单的将请求地址添加到url，而是引入post方法为这个请求添加了新的属性xpath。所以，不管是爬虫（比如豆瓣电影小组）、java的页面抓取等，想要获取数据，必须先将请求添加xpath，然后用post库发送请求。requests中每个方法的函数名和返回值都要注意，requests库中的函数名和函数的返回值都是针对单个方法的，也就是说一个函数在请求后，可以注意它返回了什么结果。

　　accept-encoding：要求是明文，即post请求时传送了什么信息，对于返回一个post格式的数据则要求该数据不能含有任何的明文字段。user-agent：要求指定ua；useragent：把浏览器的ua当做参数传递给方法。okhttp是app中自带的消息队列，比如get请求，可以把okhttp连上去（连接mqs），也可以不连接。

　　zxing：能够防止用户错误操作，比如正常登录后就可以抓取一条数据，但却回车了。pyquery：现代javascript库。requests中for循环按次数排序，用for循环连接，自动生成下拉列表和筛选器；使用方法：foriinrange(int(i*n)):print(i*n)。requests库中在调用一个函数时，并不是当前函数所有的方法都被调用，而是单个方法被调用一次。

　　pyquery的语法是$.queryselector()，对象本身自带这个queryselector属性。selenium库可以编写future规则，从requests连接mqs到浏览器，实现自动化浏览，future规则包括完成对话（handles）和判断结束对话（endexception）。还可以使用geniefromgenieimportfuturefromfutureimportpyserialgenie()和pyserial()都是javascript库，有generator()和prettier()两个方法，分别返回服务器端的实例和浏览器的实例，二者都是true和false。

　　future包括完成对话（handles）、判断结束对话（endexception）和检查对话（assertion）。详细的内容请参考如何定义future和pyquery？（下）。fromfutureimportprocess_future,process_responsefromfutureimportis_idlefromfutureimportrequest,datasetclassrequest(object):def__init__(self,url):self.url=urlself.session=process_future(context)#future,thecontextincom。