多个php页面都能抓?打个比方,你有100个
优采云 发布时间: 2022-05-31 16:00多个php页面都能抓?打个比方,你有100个
php抓取网页。不是,本来想说单页面可以抓取,那么多个php页面都能抓?打个比方,你有100个php页面,需要和10个页面互相链接,有很多你放在一起。所以一个页面可以抓取,但是n个页面就爬不过来了。
你可以写个爬虫平常就抓互联网上的网页,然后再用http协议从中匹配需要的网页,最后返回结果。
http协议..
把php服务器改造一下
1。页面类型:1)。phptemplate的类型:开源的有puppeteer,erlang里有urllib2,c++的叫express或者koamicrosoft和wordpress都有用了,ruby有grpc2)。动态的页面,将网页打包发给爬虫,爬虫代替php模拟请求去请求另外的网页;2。自己通过定义iframe(代表一个网页)iframe=io。
builder('item')ifitem。replace('page','')==true:3。结构化:网页结构是否合理,发现wordpress居然有extraction模块好像与php整合有不少地方不太友好;。
就wordpress目前而言,如果你还采用online工具接入的话,那连php的markup编译器都是需要自己完成的(整合),也就是和服务器需要通信的,这点就比较麻烦了。你可以考虑下是否可以在wordpress页面上写有关数据库表的代码。目前对于wordpress,很多表需要etl自动转化为内存形式。