php抓取网页snoopy(php一个类无需扩支持服务器的特点及下载地址介绍)

优采云 发布时间: 2021-10-13 16:09

  php抓取网页snoopy(php一个类无需扩支持服务器的特点及下载地址介绍)

  Snoopy是一个php类,用来模拟浏览器的功能,可以获取网页的内容并发送表单。

  下载链接:

  史努比的一些特点:

  1 fetch 网页内容 fetch

  2 获取网页的文本内容(去除HTML标签)fetchtext

  3 获取网页链接,表单 fetchlinks fetchform

  4 支持代理主机

  5 支持基本的用户名/密码验证

  6 支持设置user_agent、referer(传入路由)、cookies和header内容(头文件)

  7 支持浏览器重定向,可以控制重定向的深度

  8 可以将网页中的链接扩展为高质量的url(默认)

  9 提交数据并获取返回值

  10 支持跟踪 HTML 框架

  11 支持重定向时传递 cookie

  需要 php4 或更高版本。既然是php的一个类,就不需要扩展支持了。服务器不支持curl时的最佳选择,

  类方法:

  获取($URI)

  ——————

  这是用来抓取网页内容的方法。

  $URI 参数是被抓取网页的 URL 地址。

  获取的结果存储在 $this->results 中。

  如果你正在抓取一个帧,史努比会跟踪每一帧并将其存储在一个数组中,然后将其存储在 $this->results 中。

  fetchtext($URI)

  —————

  该方法与fetch()类似,唯一不同的是该方法会去除HTML标签等无关数据,只返回网页中的文本内容。

  fetchform($URI)

  —————

  该方法与fetch()类似,唯一不同的是该方法会去除HTML标签等无关数据,只返回网页中的表单内容(form)。

  fetchlinks($URI)

  —————-

  这个方法和fetch()类似,唯一不同的是这个方法会去除HTML标签等无关数据,只返回网页中的链接。

  默认情况下,相对链接会自动补全并转换成完整的网址。

  提交($URI,$formvars)

  ———————-

  此方法向$URL 指定的链接地址发送确认表单。 $formvars 是一个存储表单参数的数组。

  提交文本($URI,$formvars)

  ——————————

  该方法与submit()类似,唯一不同的是,该方法会去除HTML标签等无关数据,登录后只返回网页中的文本内容。

  提交链接($URI)

  —————-

  这个方法类似于submit()。唯一不同的是,该方法会去除HTML标签等无关数据,只返回网页中的链接。

  默认情况下,相对链接会自动补全并转换成完整的网址。

  类属性:(括号内为默认值)

  $host 连接的主机

  $port 连接的端口

  $proxy_host 使用的代理主机,如果有的话

  $proxy_port 使用的代理主机端口,如果有的话

  $agent 用户代理伪装(史努比 v0.1)

  $referer 信息,如果有的话

  $cookies cookies,如果有的话

  $rawheaders 其他头信息,如果有的话

  $maxredirs 最大重定向次数,0=不允许 (5)

  $offsiteok 是否允许异地重定向。 (真实)

  $expandlinks 是否完成所有链接以完成地址(真实)

  $user 认证用户名,如果有的话

  $pass 认证用户名,如果有的话

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线