php抓取网页数据：google+、facebook等互联网公司

　　php抓取网页数据：google+、facebook等互联网公司

　　php抓取网页数据：google+、facebook等互联网公司的程序员日常看到的网页都有一定的规律性（颜色、宽高比例、字体、图片），使用php-fpm会把这些规律抽象出来，方便用于后期的代码抓取和后端数据的呈现。文件：php-fpm.php脚本语言：php地址：baidu.php-4.8.0:index,39131:readme.php参考：php-fpm:从google爬取sougou网页作者：森林葱neeman。

　　相关概念是php做的。

　　用php实现了非常普遍的网络爬虫，包括大型网站、各种二三级网站等等，不同用途对结构化能力要求不同。基于php源码生成各种常见数据类型（对于实际中一些奇怪的数据，有些会作特殊处理），比如raw，常见的结构数据（如string，int，整数等）；对原始输入内容进行正则等。而如果数据量不大，后续处理一般为正则匹配，甚至生成一个html字符串。

　　对于大型网站，php这个工具本身体量较大，php性能不算太好，而且其很多内置函数，smartart，正则等都是基于数组的。甚至有的爬虫还要“自己”定义mapping。大型网站不仅定义一个web服务器（nginx，反向代理）来爬虫，实际上还需要根据用户规模给出一个web服务器进程级的实例。

　　php有很多优点，但是缺点也很明显。如果抓取的类型比较固定，那么可以用php做网络爬虫。但是如果抓取的类型比较复杂，那么请用biw技术去抓取，