多个php页面都能抓?打个比方,你有100个

优采云 发布时间: 2022-05-31 16:00

  多个php页面都能抓?打个比方,你有100个

  php抓取网页。不是,本来想说单页面可以抓取,那么多个php页面都能抓?打个比方,你有100个php页面,需要和10个页面互相链接,有很多你放在一起。所以一个页面可以抓取,但是n个页面就爬不过来了。

  你可以写个爬虫平常就抓互联网上的网页,然后再用http协议从中匹配需要的网页,最后返回结果。

  http协议..

  把php服务器改造一下

  1。页面类型:1)。phptemplate的类型:开源的有puppeteer,erlang里有urllib2,c++的叫express或者koamicrosoft和wordpress都有用了,ruby有grpc2)。动态的页面,将网页打包发给爬虫,爬虫代替php模拟请求去请求另外的网页;2。自己通过定义iframe(代表一个网页)iframe=io。

  builder('item')ifitem。replace('page','')==true:3。结构化:网页结构是否合理,发现wordpress居然有extraction模块好像与php整合有不少地方不太友好;。

  就wordpress目前而言,如果你还采用online工具接入的话,那连php的markup编译器都是需要自己完成的(整合),也就是和服务器需要通信的,这点就比较麻烦了。你可以考虑下是否可以在wordpress页面上写有关数据库表的代码。目前对于wordpress,很多表需要etl自动转化为内存形式。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线