snoopy php网页抓取工具(Snoopy($URI)功能特点及去除和发送表单)
优采云 发布时间: 2021-10-10 23:13snoopy php网页抓取工具(Snoopy($URI)功能特点及去除和发送表单)
简介:Snoopy是一个php类,用来模仿网页浏览器的功能,可以完成获取网页内容和发送表单的任务。 **官网:/** ...史努比的一些功能:获取网页内容 fetch() fetch...
<p>引言:Snoopy是一个php类,用来模仿web浏览器的功能,它能完成获取网页内容和发送表单的任务。
**官方网址:http://snoopy.sourceforge.net/**
简单一句话表达:"Snoopy是一个php类库,用来模拟浏览器的功能,可以获取网页内容,发送表单。",补一下脑。
Snoopy的一些功能特点:
抓取网页的内容 fetch()抓取网页的文本内容 (去除HTML标签) fetchtext()抓取网页的链接,表单 fetchlinks() fetchform()支持代理主机支持基本的用户名/密码验证支持设置 user_agent, referer(来路), cookies 和 header content(头文件)支持浏览器重定向,并能控制重定向深度能把网页中的链接扩展成高质量的url(默认)提交数据并且获取返回值支持跟踪HTML框架支持重定向的时候传递cookies
注意:PHP容器要求php4以上就可以。由于本身是php一个类,无需扩支持,它是服务器不支持curl时候的最好选择。
Come on,跟着SuperDo一起来了解一下Snoopy的使用吧。。。
类方法
下面,我们为大家准备了Snoopy常用的一些类方法。
1. fetch($uri)[b]
这是为了抓取网页的内容而使用的方法。$URI参数是被抓取网页的URL地址。抓取的结果被存储在 $this->results 中。
如果你正在抓取的是一个框架,Snoopy将会将每个框架追踪后存入数组中,然后存入 $this->results。
</p>
2. fetchtext($URI)
该方法与fetch()类似,唯一不同的是该方法会去除HTML标签等无关数据,只返回网页中的文本内容。
3. fetchform($URI)
该方法与fetch()类似,唯一不同的是该方法会去除HTML标签等无关数据,只返回网页中的表单内容(form)。
4. fetchlinks($URI)
这个方法和fetch()类似,唯一不同的是这个方法会去除HTML标签等无关数据,只返回网页中的链接。默认情况下,相对链接会自动补全并转换成完整的网址。
5. 提交($URI,$formvars)
此方法向$URL 指定的链接地址发送确认表单。 $formvars 是一个存储表单参数的数组。
6. submittext($URI,$formvars)
该方法与submit()类似,唯一不同的是,该方法会去除HTML标签等无关数据,登录后只返回网页中的文本内容。
7. 提交链接($URI)
这个方法类似于submit()。唯一不同的是,该方法会去除HTML标签等无关数据,只返回网页中的链接。默认情况下,相对链接会自动补全并转换成完整的网址。
类属性(括号内为默认值)
基本示例
通用示例:
include "Snoopy.class.php";
$snoopy = new Snoopy;
$snoopy->proxy_host = "http://do.org.cn/";
$snoopy->proxy_port = "80";
$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)";
$snoopy->referer = "http://do.org.cn";
$snoopy->cookies["SessionID"] = 238472834723489l;
$snoopy->cookies["favoriteColor"] = "RED";
$snoopy->rawheaders["Pragma"] = "no-cache";
$snoopy->maxredirs = 2;
$snoopy->offsiteok = false;
$snoopy->expandlinks = false;
$snoopy->user = "joe";
$snoopy->pass = "bloe";
if($snoopy->fetchtext("http://do.org.cn")) {
echo "".htmlspecialchars($snoopy->results)."
n";} else {echo "error fetching document: ".$snoopy->error."n";}
获取指定url的内容:
表单提交:
伪装ip,伪装浏览器:
详细说明:
原来我们可以伪装会话,伪装浏览器,伪装ip,(旁白:猥亵笑HOHO)我们可以做很多事情。
例如:用验证码投票,验证ip,可以连续投票。
PS:这里伪装ip其实就是伪装http头,所以一般通过REMOTE_ADDR获取的IP是不能伪装的,但是通过http头获取IP的(可以防止代理的那种)可以自己做IP .
关于如何骗取验证码,简单说一下:
操作方法:先用普通浏览器查看页面,找到验证码对应的sessionid,记下sessionid和验证码的值,然后用snoopy伪造
原理:因为是同一个sessionid,所以得到的验证码和第一次输入的一样。
制作其他属性:
两个综合例子
马克,有兴趣的可以看看。
示例 1:
/**
* You need the snoopy.class.php from
* http://snoopy.sourceforge.net/
*/
include("snoopy.class.php");
$snoopy = new Snoopy;
// need an proxy?:
//$snoopy->proxy_host = "my.proxy.host";
//$snoopy->proxy_port = "8080";
// set browser and referer:
$snoopy->agent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)";
$snoopy->referer = "http://do.org.cn/";
// set some cookies:
$snoopy->cookies["SessionID"] = '238472834723489';
$snoopy->cookies["favoriteColor"] = "blue";
// set an raw-header:
$snoopy->rawheaders["Pragma"] = "no-cache";
// set some internal variables:
$snoopy->maxredirs = 2;
$snoopy->offsiteok = false;
$snoopy->expandlinks = false;
// set username and password (optional)
//$snoopy->user = "joe";
//$snoopy->pass = "bloe";
// fetch the text of the website www.google.com:
if($snoopy->fetchtext("http://www.google.com")){
// other methods: fetch, fetchform, fetchlinks, submittext and submitlinks
// response code:
print "response code: ".$snoopy->response_code."
n";
// print the headers:
print "<b>Headers:[/b]
";
while(list($key,$val) = each($snoopy->headers)){
print $key.": ".$val."
n";
}
print "
n";
// print the texts of the website:
print htmlspecialchars($snoopy->results)."n";
} else {
print "Snoopy: error while fetching document: ".$snoopy->error."n";
}
示例 2:(图片采集)
<p>