php可以抓取网页数据吗(本文介绍PHP的cURL库的几个使用方法(一))

　　php可以抓取网页数据吗(本文介绍PHP的cURL库的几个使用方法(一))

　　本文介绍了几种使用 PHP 的 cURL 库的方法。cURL 是一个强大的 PHP 库，可用于获取 Web 内容、获取 Web 内容以及获取 XML 文件并将其导入数据库等。

　　广告：

　　使用 PHP 的 cURL 库可以轻松高效地抓取网页。你只需要运行一个脚本，然后分析你爬取的网页，然后你就可以通过编程方式获取你想要的数据。无论您是想从链接中获取部分数据，还是获取 XML 文件并将其导入数据库，甚至只是获取网页内容，cURL 都是一个强大的 PHP 库。本文主要介绍如何使用这个 PHP 库。

　　启用 cURL 设置

　　首先，我们要确定我们的 PHP 是否启用了这个库，你可以使用 php_info() 函数来获取这个信息。

　　

﹤?php<br />

phpinfo();<br />

?﹥

　　如果您可以在网页上看到以下输出，则说明 cURL 库已启用。

　　如果你看到它，那么你需要设置你的 PHP 并启用这个库。如果你是Windows平台的话，很简单，你需要改变你的php.ini文件的设置，找到php_curl.dll，取消之前的分号注释。如下：

　　

//取消下在的注释<br />

extension=php_curl.dll

　　如果你在 Linux 下，那么你需要重新编译你的 PHP。编辑时需要打开编译参数——在configure命令中添加“--with-curl”参数。

　　一个小例子

　　如果一切就绪，这是一个小程序：

　　﹤?php

　　// 初始化一个 cURL 对象

　　$curl = curl_init();

　　// 设置需要抓取的网址

　　curl_setopt($curl, CURLOPT_URL, '');

　　// 设置标题

　　curl_setopt($curl, CURLOPT_HEADER, 1);

　　// 设置 cURL 参数，是否将结果保存为字符串或输出到屏幕。

　　curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

　　// 运行cURL，请求网页

　　$data = curl_exec($curl);

　　// 关闭 URL 请求

　　curl_close($curl);

　　//显示获取到的数据

　　var_dump($data);

　　如何发布数据

　　上面是爬取网页的代码，下面是POST数据到网页。假设我们有一个处理一个表单的 URL，该表单接受两个表单字段，一个用于电话号码，一个用于文本消息的文本。

　　

﹤?php<br />

$phoneNumber = '13912345678';<br />

$message = 'This message was generated by curl and php';<br />

$curlPost = 'pNUMBER=' . urlencode($phoneNumber) . '&MESSAGE=' . urlencode($message) . '&SUBMIT=Send';<br />

$ch = curl_init();<br />

curl_setopt($ch, CURLOPT_URL, 'http://www.example.com/sendSMS.php');<br />

curl_setopt($ch, CURLOPT_HEADER, 1);<br />

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />

curl_setopt($ch, CURLOPT_POST, 1);<br />

curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);<br />

$data = curl_exec();<br />

curl_close($ch);<br />

?﹥

　　从上面的程序我们可以看出，使用 CURLOPT_POST 设置 HTTP 协议的 POST 方法而不是 GET 方法，然后使用 CURLOPT_POSTFIELDS 设置 POST 数据。

　　关于代理服务器

　　以下是如何使用代理服务器的示例。请注意突出显示的代码，代码很简单，我不需要多说。

　　

﹤?php <br />

$ch = curl_init();<br />

curl_setopt($ch, CURLOPT_URL, 'http://www.example.com');<br />

curl_setopt($ch, CURLOPT_HEADER, 1);<br />

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />

curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1);<br />

curl_setopt($ch, CURLOPT_PROXY, 'fakeproxy.com:1080');<br />

curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password');<br />

$data = curl_exec();<br />

curl_close($ch);<br />

?﹥

　　关于 SSL 和 Cookie