php抓取网页匹配url(php抓取网页匹配url供你记录请求的url)
优采云 发布时间: 2022-04-13 04:04php抓取网页匹配url(php抓取网页匹配url供你记录请求的url)
php抓取网页匹配url下面有hashmap供你记录请求的url,接下来你就可以设置header,获取各个请求的信息。以及数据库呢?一般用php的都是系统或者应用管理员嘛,
php抓网页最有效的方法就是使用backbone或者flask,使用backbone的话你只需要编写urlhandler和viewhandler就好了。flask的话你也只需要编写urlhandler就好了。
为啥我用的是requests和requestslib都不行
可以先定位url,编写一个post方法,
试试一些类似requests库或postman的库,如果postman不行可以换成websocket。
编写一个postmessage的http服务器,
可以尝试一下,requests或者postman代替,其实,并不推荐用这两个,最简单直接的方法就是定位关键词。
我也试过,不可行,要不试试python的requests库(requests是基于http服务器,requestslib用于对http请求,可能有写差别,
可以使用抓包工具,通过http提供的header可以获取各种信息。但是这种方法其实挺不好操作的,因为现在多数php的script还是以base64编码的方式编码的,所以你只能用http本身的服务进行抓包,然后还有一个方法就是自己使用一些可视化工具例如vs的pythonwebserverapis等,模拟登录这个那个。