snoopy php网页抓取工具(Snoopy($URI)功能特点及去除和发送表单)

　　snoopy php网页抓取工具(Snoopy($URI)功能特点及去除和发送表单)

　　简介：Snoopy是一个php类，用来模仿网页浏览器的功能，可以完成获取网页内容和发送表单的任务。 **官网：/** ...史努比的一些功能：获取网页内容 fetch() fetch...

　　

<p>引言：Snoopy是一个php类，用来模仿web浏览器的功能，它能完成获取网页内容和发送表单的任务。

　　**官方网址：http://snoopy.sourceforge.net/**

　　简单一句话表达："Snoopy是一个php类库，用来模拟浏览器的功能，可以获取网页内容，发送表单。"，补一下脑。

　　 

　　Snoopy的一些功能特点：

抓取网页的内容 fetch()抓取网页的文本内容 (去除HTML标签) fetchtext()抓取网页的链接，表单 fetchlinks() fetchform()支持代理主机支持基本的用户名/密码验证支持设置 user_agent, referer(来路), cookies 和 header content(头文件)支持浏览器重定向，并能控制重定向深度能把网页中的链接扩展成高质量的url(默认)提交数据并且获取返回值支持跟踪HTML框架支持重定向的时候传递cookies

　　注意：PHP容器要求php4以上就可以。由于本身是php一个类，无需扩支持，它是服务器不支持curl时候的最好选择。

　　Come on，跟着SuperDo一起来了解一下Snoopy的使用吧。。。

　　

　　 

　　类方法

　　下面，我们为大家准备了Snoopy常用的一些类方法。

　　1. fetch($uri)[b]

　　这是为了抓取网页的内容而使用的方法。$URI参数是被抓取网页的URL地址。抓取的结果被存储在 $this->results 中。

　　如果你正在抓取的是一个框架，Snoopy将会将每个框架追踪后存入数组中，然后存入 $this->results。

</p>

　　2. fetchtext($URI)

　　该方法与fetch()类似，唯一不同的是该方法会去除HTML标签等无关数据，只返回网页中的文本内容。

　　3. fetchform($URI)

　　该方法与fetch()类似，唯一不同的是该方法会去除HTML标签等无关数据，只返回网页中的表单内容（form）。

　　4. fetchlinks($URI)

　　这个方法和fetch()类似，唯一不同的是这个方法会去除HTML标签等无关数据，只返回网页中的链接。默认情况下，相对链接会自动补全并转换成完整的网址。

　　5. 提交($URI,$formvars)

　　此方法向$URL 指定的链接地址发送确认表单。 $formvars 是一个存储表单参数的数组。

　　6. submittext($URI,$formvars)

　　该方法与submit()类似，唯一不同的是，该方法会去除HTML标签等无关数据，登录后只返回网页中的文本内容。

　　7. 提交链接($URI)

　　这个方法类似于submit()。唯一不同的是，该方法会去除HTML标签等无关数据，只返回网页中的链接。默认情况下，相对链接会自动补全并转换成完整的网址。

　　类属性（括号内为默认值）

　　基本示例

　　通用示例：

　　include "Snoopy.class.php";

$snoopy = new Snoopy;

$snoopy->proxy_host = "http://do.org.cn/";

$snoopy->proxy_port = "80";

$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)";

$snoopy->referer = "http://do.org.cn";

$snoopy->cookies["SessionID"] = 238472834723489l;

$snoopy->cookies["favoriteColor"] = "RED";

$snoopy->rawheaders["Pragma"] = "no-cache";

$snoopy->maxredirs = 2;

$snoopy->offsiteok = false;

$snoopy->expandlinks = false;

$snoopy->user = "joe";

$snoopy->pass = "bloe";

if($snoopy->fetchtext("http://do.org.cn")) {

echo "".htmlspecialchars($snoopy->results)."

　　n";} else {echo "error fetching document: ".$snoopy->error."n";}

　　获取指定url的内容：

　　表单提交：

　　伪装ip，伪装浏览器：

　　详细说明：

　　原来我们可以伪装会话，伪装浏览器，伪装ip，（旁白：猥亵笑HOHO）我们可以做很多事情。

　　例如：用验证码投票，验证ip，可以连续投票。

　　PS：这里伪装ip其实就是伪装http头，所以一般通过REMOTE_ADDR获取的IP是不能伪装的，但是通过http头获取IP的（可以防止代理的那种）可以自己做IP .

　　关于如何骗取验证码，简单说一下：

　　操作方法：先用普通浏览器查看页面，找到验证码对应的sessionid，记下sessionid和验证码的值，然后用snoopy伪造

　　原理：因为是同一个sessionid，所以得到的验证码和第一次输入的一样。

　　制作其他属性：

　　两个综合例子

　　马克，有兴趣的可以看看。

　　示例 1：

　　/**

* You need the snoopy.class.php from

* http://snoopy.sourceforge.net/

*/

include("snoopy.class.php");

$snoopy = new Snoopy;

// need an proxy?:

//$snoopy->proxy_host = "my.proxy.host";

//$snoopy->proxy_port = "8080";

// set browser and referer:

$snoopy->agent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)";

$snoopy->referer = "http://do.org.cn/";

// set some cookies:

$snoopy->cookies["SessionID"] = &#39;238472834723489&#39;;

$snoopy->cookies["favoriteColor"] = "blue";

// set an raw-header:

$snoopy->rawheaders["Pragma"] = "no-cache";

// set some internal variables:

$snoopy->maxredirs = 2;

$snoopy->offsiteok = false;

$snoopy->expandlinks = false;

// set username and password (optional)

//$snoopy->user = "joe";

//$snoopy->pass = "bloe";

// fetch the text of the website www.google.com:

if($snoopy->fetchtext("http://www.google.com")){

// other methods: fetch, fetchform, fetchlinks, submittext and submitlinks

// response code:

print "response code: ".$snoopy->response_code."

n";

// print the headers:

print "<b>Headers:[/b]

";

while(list($key,$val) = each($snoopy->headers)){

print $key.": ".$val."

n";

}

print "

n";

// print the texts of the website:

print htmlspecialchars($snoopy->results)."n";

} else {

print "Snoopy: error while fetching document: ".$snoopy->error."n";

}

　　示例 2：（图片采集）

<p>