php抓取网页匹配url(小拽利用php的spider代码和用户dashboard的展现代码)
优采云 发布时间: 2021-12-29 01:18php抓取网页匹配url(小拽利用php的spider代码和用户dashboard的展现代码)
背景说明：小野使用PHP的curl编写的爬虫实验性爬取知乎5w用户的基本信息；同时对爬取的数据进行简单的分析和呈现。
php的爬虫代码和用户仪表盘的显示代码整理上传到github，代码库更新在个人博客和公众号。本节目仅供娱乐学习交流使用；如有侵犯知乎相关权益的，请尽快联系我删除。
无图，无真相
手机分析数据截图
PC端分析数据截图
整个爬取、分析、呈现的过程大致分为以下几个步骤，小燕将分别介绍
curl爬取知乎网页数据规律分析知乎网页数据数据存储与程序部署数据分析与呈现
curl 抓取网页数据
PHP 的 curl 扩展是 PHP 支持的库，允许您使用各种类型的协议与各种服务器进行连接和通信。它是一个非常方便的网页抓取工具，同时支持多线程扩展。
本程序抓取知乎提供给用户访问的个人信息页面。爬取过程需要携带用户cookies来获取页面。直接上传
获取页面cookie
// 登录知乎，打开个人中心，打开控制台，获取cookie
document.cookie
"_za=67254197-3wwb8d-43f6-94f0-fb0e2d521c31; _ga=GA1.2.2142818188.1433767929; q_c1=78ee1604225d47d08cddd8142a08288b23|1452172601000|1452172601000; _xsrf=15f0639cbe6fb607560c075269064393; cap_id="N2QwMTExNGQ0YTY2NGVddlMGIyNmQ4NjdjOTU0YTM5MmQ=|1453444256|49fdc6b43dc51f702b7d6575451e228f56cdaf5d"; __utmt=1; unlock_ticket="QUJDTWpmM0lsZdd2dYQUFBQVlRSlZUVTNVb1ZaNDVoQXJlblVmWGJ0WGwyaHlDdVdscXdZU1VRPT0=|1453444421|c47a2afde1ff334d416bafb1cc267b41014c9d5f"; __utma=51854390.21428dd18188.1433767929.1453187421.1453444257.3; __utmb=51854390.14.8.1453444425011; __utmc=51854390; __utmz=51854390.1452846679.1.dd1.utmcsr=google|utmccn=(organic)|utmcmd=organic|utmctr=(not%20provided); __utmv=51854390.100-1|2=registration_date=20150823=1^dd3=entry_date=20150823=1"
获取*敏*感*词*页面
通过curl，扛cookie，先抢我的中心页
/**
* 通过用户名抓取个人中心页面并存储
*
* @param $username str :用户名 flag
* @return boolean :成功与否标志
*/
public function spiderUser($username)
{
$cookie = "xxxx" ;
$url_info = 'http://www.zhihu.com/people/' . $username; //此处cui-xiao-zhuai代表用户ID,可以直接看url获取本人id
$ch = curl_init($url_info); //初始化会话
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_COOKIE, $cookie); //设置请求COOKIE
curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //将curl_exec()获取的信息以文件流的形式返回，而不是直接输出。
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
$result = curl_exec($ch);
file_put_contents('/home/work/zxdata_ch/php/zhihu_spider/file/'.$username.'.html',$result);
return true;
}
定期分析网页数据分析新链接，进一步爬取
对于已爬取的网页的存储，为了进行进一步的爬取，页面必须收录
可用于进一步爬取用户的链接。通过知乎页面的分析，发现个人中心页面有关注者和一些喜欢和关注者。
如下
// 抓取的html页面中发现了新的用户，可用于爬虫
<a class="zm-item-link-avatar avatar-link" href="/people/new-user" data-tip="p$t$new-user">
ok，那你就可以用自己-》关注人-》关注人关注人-》... 不断爬行，下一步就是通过正则匹配提取信息
// 匹配到抓取页面的所有用户
preg_match_all('/\/people\/([\w-]+)\"/i', $str, $match_arr);
// 去重合并入新的用户数组,用户进一步抓取
self::$newUserArr = array_unique(array_merge($match_arr[1], self::$newUserArr));
至此，整个爬取过程就可以顺利进行了。
如果需要大量爬取数据，可以研究curl_multi和pcntl进行快速多线程爬取，这里不再赘述。
分析用户数据并提供分析
通过正则化，可以进一步匹配更多的用户数据，直接进行编码。
// 获取用户头像
preg_match('//i', $str, $match_img);
$img_url = $match_img[1];
// 匹配用户名：
// 崔小拽
preg_match('/([\x{4e00}-\x{9fa5}]+).+span>/u', $str, $match_name);
$user_name = $match_name[1];
// 匹配用户简介
// class bio span 中文
preg_match('/([\x{4e00}-\x{9fa5}]+).+span>/u', $str, $match_title);
$user_title = $match_title[1];
// 匹配性别
// 男
// gender value1 ;结束 中文
preg_match('/<strong>(\d+)\s.+strong>/i', $str, $match_topic);
$user_topic = $match_topic[1];
// 关注人数
// 关注了
preg_match_all('/<strong>(\d+)(\d+)/i', $str, $match_browse);
$user_browse = $match_browse[1];
在爬取过程中，如果条件允许，必须通过redis进行存储，确实可以提高爬取和存储的效率。如果没有条件，只能通过sql进行优化。这里有一些衷心的消息。
在数据库表上设计索引时必须小心。在蜘蛛爬取的过程中，建议将用户名列出来，左右字段不要索引，包括主键，这样尽可能提高存储效率。想象一下5000w的数据，每次加一个，建一个索引需要多少消耗。当爬取完成，需要分析数据时，分批建立索引。
数据存储和更新操作必须是批处理的。mysql给出的增删改查建议和速度：
# 官方的最优批量插入
INSERT INTO yourtable VALUES (1,2), (5,5), ...;
部署操作。程序在爬取过程中可能会异常挂起。为了保证高效率和稳定性，尽量写一个定时脚本。每隔一段时间杀掉它再运行一次，这样即使异常挂起，也不会浪费太多宝贵的时间。毕竟时间就是金钱。
#!/bin/bash
# 干掉
ps aux |grep spider |awk '{print $2}'|xargs kill -9
sleep 5s
# 重新跑
nohup /home/cuixiaohuan/lamp/php5/bin/php /home/cuixiaohuan/php/zhihu_spider/spider_new.php &
数据分析演示
数据展示主要使用echarts3.0，感觉兼容移动端。移动端兼容页面响应式布局主要是通过几个简单的css来控制，代码如下
// 获取用户头像
preg_match('//i', $str, $match_img);
$img_url = $match_img[1];
// 匹配用户名：
// 崔小拽
preg_match('/([\x{4e00}-\x{9fa5}]+).+span>/u', $str, $match_name);
$user_name = $match_name[1];
// 匹配用户简介
// class bio span 中文
preg_match('/([\x{4e00}-\x{9fa5}]+).+span>/u', $str, $match_title);
$user_title = $match_title[1];
// 匹配性别
// 男
// gender value1 ;结束 中文
preg_match('/<strong>(\d+)\s.+strong>/i', $str, $match_topic);
$user_topic = $match_topic[1];
// 关注人数
// 关注了
preg_match_all('/<strong>(\d+)(\d+)/i', $str, $match_browse);
$user_browse = $match_browse[1];
不足，有待学习
整个过程涉及到php、shell、js、css、html、regular等语言和部署基础知识，但还有很多需要改进的地方，小燕特此记录，后续补充示例：
php 使用 multicul 进行多线程。定期匹配进一步优化了部署和爬取过程。Redis用于提高存储和移动端布局的兼容性，提高js的模块化和在sass中编写css。
