怎样抓取网页数据(php.ini中的max_execution设置设置的大点软件)

优采云 发布时间: 2021-09-13 09:07

  怎样抓取网页数据(php.ini中的max_execution设置设置的大点软件)

  爬取前记得将php.ini中的max_execution_time设置为较大的值,否则会报错。

  一、用 Snoopy.class.php 抓取页面

  一个非常可爱的班级名称。功能也很强大,用来模拟浏览器的功能,可以获取网页内容,发送表单等等。

  1)我要抓取网站的一个列表页的内容,我要抓取的是全国医院信息的内容,如下图:

  2)我自然是复制URL地址,使用Snoopy类抓取前10页的内容,并将内容放到本地,在本地创建一个html文件,稍后分析使用。

  

  $snoopy=new Snoopy();

//医院list页面

for($i = 1; $i fetch($url);

file_put_contents("web/page/$i.html", $snoopy->results);

}

echo 'success';

  

  3)奇怪的是,返回的不是国家内容,而是上海相关内容

  4)后来怀疑里面可能设置了cookie,然后用firebug检查了一下,果然有惊天动地的内幕

  5)在请求中放入cookie的值,并添加了设置语句$snoopy->cookies["_area_"],情况大不相同,顺利返回国家信息。

  $snoopy=new Snoopy();

//医院list页面

$snoopy->cookies["_area_"] = '{"provinceId":"all","provinceName":"全国","cityId":"all","cityName":"不限™"}';

for($i = 1; $i results;

}

  2)使用phpQuery获取节点信息,DOM结构如下图所示:

  使用一些phpQuery方法,结合DOM结构读取各个医院信息的URL地址。

  

  for($i = 1; $i attr('href')); //医院详情

}

}

  

  3)根据读取到的URL地址列表抓取指定页面。

  

  $detailIndex = 1;

for($i = 1; $i results);

$detailIndex++;

}

}

  

  FQ 工具下载:

  克服障碍.rar

  演示下载:

  史努比类的一些说明:

  类方法

  获取($URI)

  这是用来抓取网页内容的方法。

  $URI 参数是被抓取网页的 URL 地址。

  获取的结果存储在 $this->results 中。

  如果你正在抓取一个帧,史努比会跟踪每一帧并将其存储在一个数组中,然后将其存储在 $this->results 中。

  fetchtext($URI)

  该方法与fetch()类似,唯一不同的是该方法会去除HTML标签等无关数据,只返回网页中的文本内容。

  fetchform($URI)

  该方法与fetch()类似,唯一不同的是该方法会去除HTML标签等无关数据,只返回网页中的表单内容(form)。

  fetchlinks($URI)

  这个方法和fetch()类似,唯一不同的是这个方法会去除HTML标签等无关数据,只返回网页中的链接。

  默认情况下,相对链接会自动补全并转换成完整的网址。

  提交($URI,$formvars)

  此方法向$URL 指定的链接地址发送确认表单。 $formvars 是一个存储表单参数的数组。

  提交文本($URI,$formvars)

  该方法与submit()类似,唯一不同的是,该方法会去除HTML标签等无关数据,登录后只返回网页中的文本内容。

  提交链接($URI)

  这个方法类似于submit()。唯一不同的是,该方法会去除HTML标签等无关数据,只返回网页中的链接。

  默认情况下,相对链接会自动补全并转换成完整的网址。

  类属性

  $host

  连接的主机

  $端口

  连接端口

  $proxy_host

  使用的代理主机,如果有的话

  $proxy_port

  使用的代理主机端口,如果有的话

  $代理

  用户代理伪装(史努比 v0.1)

  $referer

  访问信息,如果有的话

  $cookies

  Cookies,如果有的话

  $rawheaders

  其他标题信息,如果有的话

  $maxredirs

  最大重定向次数,0=不允许(5)

  $offsiteok

  是否允许异地重定向。 (真实)

  $expandlinks

  是否补全链接地址(真)

  $用户

  经过身份验证的用户名(如果有)

  $pass

  经过身份验证的用户名(如果有)

  $接受

  http 接受类型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)

  $错误

  在哪里报告错误,如果有的话

  $response_code

  服务器返回的响应码

  $headers

  服务器返回的头部信息

  $maxlength

  最长返回数据长度

  $read_timeout

  读取操作超时(需要 PHP 4 Beta 4+),设置为 0 表示没有超时

  $timed_out

  如果读取操作超时,该属性返回true(需要PHP 4 Beta 4+)

  $maxframes

  允许跟踪的最大帧数

  $状态

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线