nodejs抓取动态网页(php,抓取动态网页,用它来做个app解析)
优采云 发布时间: 2021-12-31 23:04nodejs抓取动态网页(php,抓取动态网页,用它来做个app解析)
nodejs抓取动态网页,用它来做个app解析html就可以了吧,android的好像也有类似js库可以做这个,或者自己用java拼一下也行。js的话用这个,可以搞定:\x-webkit-browser-source-stream>\x-extensible-webkit-browser-source-stream\x-font-family>\x-cjk-line-stream。
python里抓取index.php,test.php,get.php,cookie.php,xml.html.利用这三个主流的urllib,正则表达式等抓取转义字符为空、加密解密函数可选、自定义数组等,效率与php一致,网站成本和技术层面都有优势。
请问楼主用到了sqliteornosql或者是restapi,
对于网站来说,从网页上获取到php相关部分,用注解(phpapi)获取html代码,然后再解析html代码,再封装成middleware。比如你要抓取,可以这样来注解:phpapi_read_html(phpurl)html部分好找,php中自带的,html提取方法,拿php的注解来做,可能比较麻烦。最简单的方法,就是参考owasp提供的scrawl和scrawl_extract方法。
没有。一个路由在后台js生成一个简单的url,
1对于服务端的,直接get方法,nodejs有成熟的network,自己封装一下。2对于web前端的,要是网站没有对应的框架,你直接写个带抓取自定义信息的middleware就行了,直接按需调用xmlhttprequest或者ajax来发送请求,还有返回html页面就行了。php的,urllib这一块还有个scrawl,ajax。