php 抓取网页ajax数据(php抓取网页ajax数据是需要js的,而php环境的websocket)

优采云 发布时间: 2022-01-05 03:01

  php 抓取网页ajax数据(php抓取网页ajax数据是需要js的,而php环境的websocket)

  php抓取网页ajax数据是需要js的,而php环境的websocket一般是看不到js的,因此得首先使用session控制整个数据链路。目前有三种方案:1.oneclickaclick,就是同时点击几个地方,并且获取数据。例如php抓取百度首页excel数据就是使用这种方式。2.同时抓取多个地方的数据,同时丢弃一些地方的数据,比如百度首页、、亚马逊3.利用burp抓取ajax请求,做数据的格式化转换,然后json转为php的对象存储,而websocket的ini文件中是保存了一些json格式的对象的。

  那么curl就得可以用form表单进行数据的封装格式化了。比如首页的excel数据从哪里来的,那个id就是他的唯一值,其他的用户名的id是php提供的,再把那个id列出来,然后和其他excel数据一比较就知道他从哪里来的了。curl能用form对比json格式的数据,就得用set-cookie来做一个属性的传递,以json数据为例,curl的accept头就有set-cookie参数,就可以使用json来解析这个formcookie传递过来的值。

  最终用json格式的php对象存储到数据库中去,就可以用php的http请求对这个值进行响应。接下来给大家分享一个简单的ajax实例,同样是用form表单:varheader={"encoding":"utf-8","accept":"image/x-form-urlencoded,image/x-www-form-urlencoded,multipart/form-data,form-data","referer":"","cookie":"","introduction":"","content-type":"application/x-www-form-urlencoded;charset=utf-8","user-agent":"mozilla/5.0(windowsnt6.1;wow64)applewebkit/537.36(khtml,likegecko)chrome/62.0.3086.102safari/537.36","max-age":"2842","user-agent-referer":"","user-agent-prefix":"javascript/commonjs.xml","last-modified":"3065302460","referer-charset":"utf-8","max-encoding":"gzip","etag":"utf-8","content-type":"text/html;charset=utf-8","accept-encoding":"gzip","accept-language":"zh-cn","accept-language-range":"en","inherit":true,"accept-language":"zh-cn","title":"","content-type":"application/x-www-form-urlencoded;charset=utf-8","acc。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线