snoopy php网页抓取工具(Snoopy($URI)功能特点及去除和发送表单)

优采云 发布时间: 2021-10-10 23:13

  snoopy php网页抓取工具(Snoopy($URI)功能特点及去除和发送表单)

  简介:Snoopy是一个php类,用来模仿网页浏览器的功能,可以完成获取网页内容和发送表单的任务。 **官网:/** ...史努比的一些功能:获取网页内容 fetch() fetch...

  

<p>引言:Snoopy是一个php类,用来模仿web浏览器的功能,它能完成获取网页内容和发送表单的任务。

  **官方网址:http://snoopy.sourceforge.net/**

  简单一句话表达:"Snoopy是一个php类库,用来模拟浏览器的功能,可以获取网页内容,发送表单。",补一下脑。

   

  Snoopy的一些功能特点:

抓取网页的内容 fetch()抓取网页的文本内容 (去除HTML标签) fetchtext()抓取网页的链接,表单 fetchlinks() fetchform()支持代理主机支持基本的用户名/密码验证支持设置 user_agent, referer(来路), cookies 和 header content(头文件)支持浏览器重定向,并能控制重定向深度能把网页中的链接扩展成高质量的url(默认)提交数据并且获取返回值支持跟踪HTML框架支持重定向的时候传递cookies

  注意:PHP容器要求php4以上就可以。由于本身是php一个类,无需扩支持,它是服务器不支持curl时候的最好选择。

  Come on,跟着SuperDo一起来了解一下Snoopy的使用吧。。。

  

   

  类方法

  下面,我们为大家准备了Snoopy常用的一些类方法

  1. fetch($uri)[b]

  这是为了抓取网页的内容而使用的方法。$URI参数是被抓取网页的URL地址。抓取的结果被存储在 $this->results 中。

  如果你正在抓取的是一个框架,Snoopy将会将每个框架追踪后存入数组中,然后存入 $this->results。

</p>

  2. fetchtext($URI)

  该方法与fetch()类似,唯一不同的是该方法会去除HTML标签等无关数据,只返回网页中的文本内容。

  3. fetchform($URI)

  该方法与fetch()类似,唯一不同的是该方法会去除HTML标签等无关数据,只返回网页中的表单内容(form)。

  4. fetchlinks($URI)

  这个方法和fetch()类似,唯一不同的是这个方法会去除HTML标签等无关数据,只返回网页中的链接。默认情况下,相对链接会自动补全并转换成完整的网址。

  5. 提交($URI,$formvars)

  此方法向$URL 指定的链接地址发送确认表单。 $formvars 是一个存储表单参数的数组。

  6. submittext($URI,$formvars)

  该方法与submit()类似,唯一不同的是,该方法会去除HTML标签等无关数据,登录后只返回网页中的文本内容。

  7. 提交链接($URI)

  这个方法类似于submit()。唯一不同的是,该方法会去除HTML标签等无关数据,只返回网页中的链接。默认情况下,相对链接会自动补全并转换成完整的网址。

  类属性(括号内为默认值)

  基本示例

  通用示例:

  include "Snoopy.class.php";

$snoopy = new Snoopy;

$snoopy->proxy_host = "http://do.org.cn/";

$snoopy->proxy_port = "80";

$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)";

$snoopy->referer = "http://do.org.cn";

$snoopy->cookies["SessionID"] = 238472834723489l;

$snoopy->cookies["favoriteColor"] = "RED";

$snoopy->rawheaders["Pragma"] = "no-cache";

$snoopy->maxredirs = 2;

$snoopy->offsiteok = false;

$snoopy->expandlinks = false;

$snoopy->user = "joe";

$snoopy->pass = "bloe";

if($snoopy->fetchtext("http://do.org.cn")) {

echo "".htmlspecialchars($snoopy->results)."

  n";} else {echo "error fetching document: ".$snoopy->error."n";}

  获取指定url的内容:

  表单提交:

  伪装ip,伪装浏览器:

  详细说明:

  原来我们可以伪装会话,伪装浏览器,伪装ip,(旁白:猥亵笑HOHO)我们可以做很多事情。

  例如:用验证码投票,验证ip,可以连续投票。

  PS:这里伪装ip其实就是伪装http头,所以一般通过REMOTE_ADDR获取的IP是不能伪装的,但是通过http头获取IP的(可以防止代理的那种)可以自己做IP .

  关于如何骗取验证码,简单说一下:

  操作方法:先用普通浏览器查看页面,找到验证码对应的sessionid,记下sessionid和验证码的值,然后用snoopy伪造

  原理:因为是同一个sessionid,所以得到的验证码和第一次输入的一样。

  制作其他属性:

  两个综合例子

  马克,有兴趣的可以看看。

  示例 1:

  /**

* You need the snoopy.class.php from

* http://snoopy.sourceforge.net/

*/

include("snoopy.class.php");

$snoopy = new Snoopy;

// need an proxy?:

//$snoopy->proxy_host = "my.proxy.host";

//$snoopy->proxy_port = "8080";

// set browser and referer:

$snoopy->agent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)";

$snoopy->referer = "http://do.org.cn/";

// set some cookies:

$snoopy->cookies["SessionID"] = &#39;238472834723489&#39;;

$snoopy->cookies["favoriteColor"] = "blue";

// set an raw-header:

$snoopy->rawheaders["Pragma"] = "no-cache";

// set some internal variables:

$snoopy->maxredirs = 2;

$snoopy->offsiteok = false;

$snoopy->expandlinks = false;

// set username and password (optional)

//$snoopy->user = "joe";

//$snoopy->pass = "bloe";

// fetch the text of the website www.google.com:

if($snoopy->fetchtext("http://www.google.com")){

// other methods: fetch, fetchform, fetchlinks, submittext and submitlinks

// response code:

print "response code: ".$snoopy->response_code."

n";

// print the headers:

print "<b>Headers:[/b]

";

while(list($key,$val) = each($snoopy->headers)){

print $key.": ".$val."

n";

}

print "

n";

// print the texts of the website:

print htmlspecialchars($snoopy->results)."n";

} else {

print "Snoopy: error while fetching document: ".$snoopy->error."n";

}

  示例 2:(图片采集

<p>

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线