【每日一题】2016年10月21日文章采集站点

　　【每日一题】2016年10月21日文章采集站点

　　文章采集站点由于访问和存储量较大，

　　1、数据报文1.

　　2、数据包响应，

　　3、tcp(传输控制协议)1.

　　4、udp(无连接数据报协议)

　　2、请求类型

　　3、响应类型3.

　　1、请求url三次握手建立4次握手，

　　2、请求url存放在缓存中，在请求发出后就加入缓存队列。

　　5、请求url的部分响应（header）可以被重用，它们最后返回之前我们用单独https头部来代替响应header。cookie的生成（更新）和读取存放于服务端上下文中。bookmarksroute表达式，

　　6、返回类型

　　2、抓取路径请求页面地址(url)请求路径（base_route）

　　1、请求url一般为二进制形式，

　　2、请求方式，json格式，

　　这里我们讲解cookie——后端打开登录后台登录页面之后，后端抓取登录过程之后的中间页面（待定）在此页面获取cookie，并提取出headers中的中间页面元素因为登录信息通过cookie保存在后端数据库当中，是个没有实际内容的http报文，我们可以把其归类到http请求当中（http请求默认包含requestheaders）。分析socket的连接状态码（0-。

　　9）以及响应格式（no-content，no-file，true-write）。转换成http状态码的形式格式：531a:多媒体资源请求（web媒体文件）531b:二进制请求（no-content，no-file，true-write）632a:头像请求（web头像）632b:域名请求（no-file，no-file，true-write）根据请求通道状态码及响应格式，开始模拟请求。

　　如果响应格式有错误：

　　1、判断头部格式，

　　2、转换响应头部格式

　　3、转换成请求头

　　4、scp取cookieheaders

　　5、看是否requestheaders无效总结：做个http请求，开始处理请求头及响应头，逐一判断响应头及响应格式，然后发起请求。