php 抓取网页ajax数据(php抓取网页ajax数据其实就是定时的获取网页中的静态数据)
优采云 发布时间: 2021-10-09 04:05php 抓取网页ajax数据(php抓取网页ajax数据其实就是定时的获取网页中的静态数据)
php抓取网页ajax数据其实就是定时的获取网页中的静态数据包括html和json,具体的要看你的项目,如果是网站本身ajax就是特别好的做法,不用把架子搭好,在前端判断一个html文件然后token就行了,基本上的前端不是特别复杂的业务就是这样干的。如果前端比较复杂或者说刚需有浏览器统一ajax功能就另当别论了。
爬虫的话也分两种情况,如果要自己构建一个爬虫,就需要设置一套自己的基本方法和语法规则,如果就是用mysql驱动抓取内容,可以用jsoup就可以实现代码自动生成:/。
可以参考一下这个
爬虫多了,遇到特定的发现好多问题,总的来说,定时检测网页速度,返回给你第一次加载的时间(这个要看业务,比如每次下载的都是不同的网页,然后再用tp操作),可以检测哪些网页返回超时,有多少秒返回,返回超时的也会返回给你。根据返回时间来决定你下一次的下载速度,好多人用selenium这个工具来检测自己的下载速度,但是我个人不喜欢selenium。
创建一个ajax接口:formdata={"user":"wang'kongtongwei'","password":"mw_xin-0xb","authorization":"","params":[{"key":"mw-xin-0xb","password":"mw_xin0xb"},{"key":"mw-xin0xb","password":"mw_xin0xb"},{"key":"mw_xin0xb","password":"mw_xin0xb"}]}这个ajax接口就是获取一个正则表达式,为user,password和authorization3个值,存入一个response,之后返回结果就是response的html文件。