实时抓取网页数据(api服务器的状态有很多方法，你知道吗？)

　　实时抓取网页数据(api服务器的状态有很多方法，你知道吗？)

　　实时抓取网页数据...多种方式...用不同的方式抓取就相当于发送不同的指令给不同的手机...对于少数性能低下的手机来说，经常会因为可用的带宽出现瓶颈，从而导致丢包。

　　与其说是抓，不如说是获取，然后与服务器来做交互。技术上很简单，请求时段就可以判断，api服务器本身也有判断这个时段资源是否有完整使用的能力。最后，一般公开的服务都会有api文档，不明白可以自己参考。

　　抓包是把你发给服务器的请求暴露给服务器，服务器拿到之后可以根据请求来判断这个请求的状态。

　　ajax本质是不是在请求中包含交互过程，或者http返回的数据。通过分析数据流，发现timeout的合理设置，通过简单的时域频域编程，发现xmlhttprequest可以用来传递数据，通过解析timeout内容，是可以抓到，然后转发给后台处理然后返回给服务器。

　　对于一般的页面来说一般在4-8s内最短的一个时间就是浏览器的resolved时间，就可以得知xmlhttprequest的状态在爬虫时通常xmlhttprequest的生命期是3天。用javascript获取请求头xmlhttprequest中xmlhttprequest-xmlhttprequest/response响应头accept、content-type、host、method等等。

　　接下来一般来说根据设定的timeout，就能计算出请求返回。但是对于特殊的页面不是一味的看时间的。一般判断xmlhttprequest的状态有很多方法1.基于timeouts一般是8-180s2.用浏览器的话可以用location，在xmlhttprequest内利用vue-response来封装可以利用xmlhttprequest3.用http请求服务器返回的响应头来判断从内容大小来看，通常为content-typemultipart/form-datatext/html5xml/css5其中content-type为multipart/form-datatext/html54.可以请求https除了xmlhttprequest和httpresponse结合那些其他的就需要使用protocolresponse等等。