php curl抓取网页数据(检查PHP是否CURL在PHP的主配置文件库中的应用)

　　php curl抓取网页数据(检查PHP是否CURL在PHP的主配置文件库中的应用)

　　PHP的Curl库用于获取网络上的资源，就像模拟平常浏览器打开一样。它可用于轻松抓取网页上的信息。同时，这个库还提供了多种设置，可以设置各种HTTP协议中的参数。使用CURL，可以完全模拟用户登录、浏览、网页发送信息、编写各种脚本。

　　检查 PHP 是否加载 CURL

　　在 PHP 的主配置文件 php.ini 中，确保打开 curl 功能。

　　第一个例子

　　我们用curl抓取施博文博客的首页

　　上面的代码可以得到一个页面的源代码，借助PHP强大的正则表达式，可以很方便的从页面中提取一些数据。当然，如果在URL地址后添加参数，则可以使用get方法提交参数。

　　在帖子中提交数据

　　为了一次性提交大量数据，并且为了更加保密，通常的做法是使用post方式提交数据。使用curl库，也可以很方便的模拟post方法。假设要提交的数据以关联数组$data的形式存储在data中。

　　上面代码中，第一行表示要post提交的数据，第二行是存储在关联数组中的数据对。发送此请求时， $data 中的数据将自动以 post request 的格式发送。

　　设置 User-Agent、Cookie 和 Referer

　　通常，一个网站记录用户的在线状态是通过Cookie信息记录的，User-Agent和Referer也是用来判断访问者是否有权限读取相应信息的，比如“防盗链”函数，也就是验证 HTTP 头中的 Referer 信息，用来做判断。Curl 也为我们提供了修改这些信息的方法，如下：

　　模拟登录百度账号

　　博主编写的《*敏*感*词*登录系统》广泛使用curl来模拟用户登录和登录。登录部分收录了大部分日常使用中curl库的常用例子，系统完全开源是的，可以在这里查看代码（Github）。

　　其他功能

　　除了上面提到的一些常用的方法外，PHP的curl库还提供了ssl连接、文件上传（put）方法等各种功能。你可以在PHP官方手册页找到相关介绍：

　　PHP Document-Curl