php curl抓取网页指定内容(Snoopy($uri)的一些功能特点及特点分析 )
优采云 发布时间: 2022-04-04 01:17php curl抓取网页指定内容(Snoopy($uri)的一些功能特点及特点分析
)
snoopy 是一个模仿 Web 浏览器功能的 php 类，可以执行诸如获取网页内容和发送表单等任务。官方网站
史努比的一些特点：
需要php4或更高版本。由于是php类，不需要扩展，是服务器不支持curl时的最佳选择。
类方法
1.获取($uri)
这是用于抓取网页内容的方法。 $URI 参数是被抓取网页的 URL 地址。获取的结果存储在 $this->results 中。
如果你正在抓取一个帧，Snoopy 将跟踪每个帧并将其存储在一个数组中，然后 $this->results。
2.fetchtext($URI)
该方法与fetch()类似，唯一不同的是该方法会去除HTML标签等无关数据，只返回网页中的文本内容。
3.fetchform($URI)
该方法与fetch()类似，唯一不同的是该方法会去除HTML标签等无关数据，只返回网页中的表单内容（form）。
4.fetchlinks($URI)
这个方法和fetch()类似，唯一的区别是这个方法会去掉HTML标签等不相关的数据，只返回网页中的链接。默认情况下，相对链接将自动填充为完整的 URL。
5.提交($URI,$formvars)
此方法向 $URL 指定的链接地址发送确认表单。 $formvars 是一个存储表单参数的数组。
6.提交文本($URI,$formvars)
该方法与submit()类似，唯一不同的是该方法会去除HTML标签等无关数据，登录后只返回网页的文本内容。
7.提交链接（$URI）
这个方法和submit()类似，唯一的区别是这个方法会去掉HTML标签等不相关的数据，只返回网页中的链接。默认情况下，相对链接将自动填充为完整的 URL。
演示
include "Snoopy.class.php";$snoopy = new Snoopy;
$snoopy->proxy_host = "http://www.nowamagic.net/librarys/veda/";
$snoopy->proxy_port = "80";
$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)";
$snoopy->referer = "http://www.4wei.cn";
$snoopy->cookies["SessionID"] = 238472834723489l;
$snoopy->cookies["favoriteColor"] = "RED";
$snoopy->rawheaders["Pragma"] = "no-cache";
$snoopy->maxredirs = 2;
$snoopy->offsiteok = false;
$snoopy->expandlinks = false;
$snoopy->user = "joe";
$snoopy->pass = "bloe";
if($snoopy->fetchtext("http://www.4wei.cn"))
{
echo "".htmlspecialchars($snoopy->results)."
n";
}
其他
echo "获取文档时出错：".$snoopy->error."n";
获取指定url的内容：
表单提交：
现在表单已经提交，可以做很多事情。接下来，我们伪装ip，伪装浏览器：
原来我们可以伪装session，伪装浏览器，伪装ip，哈哈可以做很多事情。比如有验证码，验证ip投票，就可以继续投票。
ps：这里的伪装ip其实就是伪装http头，所以一般通过REMOTE_ADDR获取的ip是无法伪装的，但是通过http头获取ip的（可以防止代理的那种）可以自己创建ip .
关于如何验证码，简单来说：先用普通浏览器，查看页面，找到验证码对应的sessionid，记下sessionid和验证码值，然后用snoopy进行伪造。
原理：因为是同一个sessionid，所以得到的验证码和第一次输入的一样。
有时我们可能需要伪造更多的东西，史努比完全为我们解决了这个问题：
比较完整的演示
/**
* You need the snoopy.class.php from
* http://snoopy.sourceforge.net/
*/
include("snoopy.class.php");
$snoopy = new Snoopy;
// need an proxy?:
//$snoopy->proxy_host = "my.proxy.host";
//$snoopy->proxy_port = "8080";
// set browser and referer:
$snoopy->agent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)";
$snoopy->referer = "http://www.jonasjohn.de/";
// set some cookies:
$snoopy->cookies["SessionID"] = '238472834723489';
$snoopy->cookies["favoriteColor"] = "blue";
// set an raw-header:
$snoopy->rawheaders["Pragma"] = "no-cache";
// set some internal variables:
$snoopy->maxredirs = 2;
$snoopy->offsiteok = false;
$snoopy->expandlinks = false;
// set username and password (optional)
//$snoopy->user = "joe";
//$snoopy->pass = "bloe";
// fetch the text of the website www.google.com:
if($snoopy->fetchtext("http://www.baidu.com")){
// other methods: fetch, fetchform, fetchlinks, submittext and submitlinks
// response code:
print "response code: ".$snoopy->response_code."
n";
// print the headers:
print "<b>Headers:
";
while(list($key,$val) = each($snoopy->headers)){
print $key.": ".$val."
n";
}
print "
n";
// print the texts of the website:
print htmlspecialchars($snoopy->results)."n";
}
else {
print "Snoopy: error while fetching document: ".$snoopy->error."n";
}
使用史努比类完成一张简单的图片采集：
<p>
