php抓取网页snoopy(php一个Snoopy的功能特点及特点分析-苏州安嘉 )

　　php抓取网页snoopy(php一个Snoopy的功能特点及特点分析-苏州安嘉

)

　　snoopy是一个模仿网页浏览器功能的php类，可以完成获取网页内容和发送表单的任务。官方网站

　　史努比的一些特点：

　　需要php4或更高版本。由于是php类，不需要扩展，是服务器不支持curl时的最佳选择。

　　类方法

　　1.获取($uri)

　　这是用于抓取网页内容的方法。 $URI 参数是被抓取网页的 URL 地址。获取的结果存储在 $this->results 中。

　　如果你正在抓取一个帧，Snoopy 将跟踪每个帧并将其存储在一个数组中，然后 $this->results。

　　2.fetchtext($URI)

　　该方法与fetch()类似，唯一不同的是该方法会去除HTML标签等无关数据，只返回网页中的文本内容。

　　3.fetchform($URI)

　　该方法与fetch()类似，唯一不同的是该方法会去除HTML标签等无关数据，只返回网页中的表单内容（form）。

　　4.fetchlinks($URI)

　　这个方法和fetch()类似，唯一的区别是这个方法会去掉HTML标签等不相关的数据，只返回网页中的链接。默认情况下，相对链接将自动填充为完整的 URL。

　　5.提交($URI,$formvars)

　　此方法向 $URL 指定的链接地址发送确认表单。 $formvars 是一个存储表单参数的数组。

　　6.提交文本($URI,$formvars)

　　该方法与submit()类似，唯一不同的是该方法会去除HTML标签等无关数据，登录后只返回网页的文本内容。

　　7.提交链接（$URI）

　　这个方法和submit()类似，唯一的区别是这个方法会去掉HTML标签等不相关的数据，只返回网页中的链接。默认情况下，相对链接将自动填充为完整的 URL。

　　类属性（括号内为默认值）

　　演示

　　include "Snoopy.class.php";

$snoopy = new Snoopy;

$snoopy->proxy_host = "http://www.nowamagic.net/librarys/veda/";

$snoopy->proxy_port = "80";

$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)";

$snoopy->referer = "http://www.4wei.cn";

$snoopy->cookies["SessionID"] = 238472834723489l;

$snoopy->cookies["favoriteColor"] = "RED";

$snoopy->rawheaders["Pragma"] = "no-cache";

$snoopy->maxredirs = 2;

$snoopy->offsiteok = false;

$snoopy->expandlinks = false;

$snoopy->user = "joe";

$snoopy->pass = "bloe";

if($snoopy->fetchtext("http://www.4wei.cn"))

{

echo "".htmlspecialchars($snoopy->results)."

　　n"; } elseecho "获取文档时出错：".$snoopy->error."n";

　　获取指定url的内容：

　　表单提交：

　　现在表单已经提交，可以做很多事情。接下来，我们伪装ip，伪装浏览器：

　　完整示例：

　　/**

* You need the snoopy.class.php from

* http://snoopy.sourceforge.net/

*/

include("snoopy.class.php");

$snoopy = new Snoopy;

// need an proxy?:

//$snoopy->proxy_host = "my.proxy.host";

//$snoopy->proxy_port = "8080";

// set browser and referer:

$snoopy->agent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)";

$snoopy->referer = "http://www.jonasjohn.de/";

// set some cookies:

$snoopy->cookies["SessionID"] = '238472834723489';

$snoopy->cookies["favoriteColor"] = "blue";

// set an raw-header:

$snoopy->rawheaders["Pragma"] = "no-cache";

// set some internal variables:

$snoopy->maxredirs = 2;

$snoopy->offsiteok = false;

$snoopy->expandlinks = false;

// set username and password (optional)

//$snoopy->user = "joe";

//$snoopy->pass = "bloe";

// fetch the text of the website www.google.com:

if($snoopy->fetchtext("http://www.google.com")){

// other methods: fetch, fetchform, fetchlinks, submittext and submitlinks

// response code:

print "response code: ".$snoopy->response_code."n";

// print the headers:

print "<b>Headers:

";

while(list($key,$val) = each($snoopy->headers)){

print $key.": ".$val."

n";

}

print "

n";

// print the texts of the website:

print htmlspecialchars($snoopy->results)."n";

}

else {

print "Snoopy: error while fetching document: ".$snoopy->error."n";

}

　　使用史努比类完成一张简单的图片采集：

<p>