网页文章采集工具:请求地址session:会话状态下的回调函数

　　网页文章采集工具:请求地址session:会话状态下的回调函数

　　网页文章采集工具今天的话题在这里：可以将网页上所有的文章（包括视频音频文字图片app广告等等）进行抓取并保存为word和pdf格式其实网页文章抓取真的是一件非常简单的事情我就用openurl来试试看，

　　3、selenium框架，不需要编译，非常迅速。注意：安装过程中会导致python代码崩溃，请耐心等待学习链接：密码：h36mopenurl实践推荐selenium+selenium抓包工具kioskcloud，免费使用和手机通过wifi抓包，速度也不错，不需要编译即可调用。selenium抓取成功后需要保存抓取的结果，以openurl为例，保存地址：点击获取地址地址中间的那个复制回车即可。

　　抓取过程中最重要的概念就是requestandsession了，它是构成selenium并发机制的基础。

　　request:请求地址session:会话状态下的回调函数

　　一、request基础知识request对象有两种默认创建方式：request对象可以是函数、对象和元组。request对象和cookie对象一样，可以存储多个会话状态，如果只有一个会话，可以将请求设置为回调函数。

　　二、request的第一个参数创建request时，首先需要将请求的域名、端口号和端口号绑定到一个request对象上，一般被称作accepttoken，即request对象的cookie。我们一般获取openurl.py中地址的cookie来初始化。

　　三、request和请求的区别

　　1、request请求是只读的，不允许修改。

　　2、request请求可以直接用cookie去识别

　　3、request请求对象不支持读写！

　　4、是通过后面的参数实现的，如果参数里面没有包含data，request对象就是空的。accepttoken是由该请求所获取的cookie中根据ip/username/password/cookie地址生成的值，只要是登录状态下的请求（即公共地址+邮箱+密码的完整的请求）返回true。

　　四、request的常用属性与方法headers:请求头部tags:标签信息referer:页面的地址signature:signinassignmethodexecutionheaders:cookie值http协议头host:请求方法user-agent:浏览器版本path:要去的资源路径expires:发送前一天的timestamp:http状态码connection:请求方法method:请求方法post:decode(一个字符编码)put:decode(image/jpeg)patch:decode(xml,xml,json)postalign:标准的xml编码方式text-to-xml:xml文档编码方式date:表示日期verbose:即时接口error:错误信息connection:tls握手过。