php如何抓取网页数据(php如何抓取网页数据编写一个php代码来执行任意php文件)

　　php如何抓取网页数据(php如何抓取网页数据编写一个php代码来执行任意php文件)

　　php如何抓取网页数据编写一个php代码来执行任意php文件，比如可以用curl或者fcgi构造一个http的post请求来获取该网页数据.例如获取天气站点的数据，那么这里我们会先搭建一个相应的cgi开发环境，比如百度云。然后构造post请求：;type=__bad__&type=__good__&frame=__great__&params=http_bad_and__good。

　　然后就是请求头,cookie,以及后面的content-type,以及这个header值里边每个包含的几个大前缀例如json,xml之类的。完成这一系列工作后，我们就可以根据不同的请求类型来去不同的网站获取数据了。

　　php本身是没有爬虫的，但是可以用curl来做爬虫。之前我们在站点抓取用的就是curl，java中用java.util.curl进行处理的php，php中用request.get方法就可以去获取抓取站点的http请求，在抓取后将文件上传，最终得到数据了。

　　php可以做的很多,通过phpwebscriptapi使用浏览器的httpapi,也可以转换成http文件,通过这个文件以文本方式抓取数据。如果抓取程序内置的抓取web的api，也可以写一个抓取代理程序使用浏览器api抓取数据。

　　当前。相对比较流行的是用curl(除了http协议，curl还支持https协议)。如果是问如何抓取数据，因为php本身没有抓取数据的能力，但是用一些开源curl库，例如workerman，