php 抓取网页(php抓取网页数据（php）抓取数据库（一）)

　　php 抓取网页(php抓取网页数据（php）抓取数据库（一）)

　　php抓取网页数据，

　　1、爬虫解析：动态网页，要不断解析，把所有页面爬取出来。可以用解析库phpbeautifulsoup；可以用phpvbscript插件解析浏览器网页。

　　2、提取数据：爬虫抓取到动态页面以后，可以尝试把它提取出来。可以用分析技术，结合分析工具，先看看网页流量走向，用自定义聚合函数，最后再拼接字符串。

　　3、直接成为数据库：有些页面可以直接成为一个数据库，但不同的内容会分别存放在不同的数据库中。

　　主要有两种存储方式：

　　1）直接存储：没有数据库管理账号，通过微信和手机号注册，用户名和密码是他人在链接或网页后台输入的，所以可以用自定义函数和自定义数据结构来控制查询字段，然后用php页面解析库来提取相应的信息。

　　2）引入数据库：urllib.request、net.allurls或其他分布式数据库引擎，也可以用用sqlite，都是用链接字段来控制查询字段。

　　4、网页处理：处理网页的方法有很多，

　　1）图片上传：把图片保存到本地文件里，然后解析下载；或者是直接调用图片库，比如github/documentbases/图片上传。

　　2）动态内容检测：根据一个地址查询出相关的内容，可以调用phpjsoup库。

　　3）实时查询：如果抓取到的数据是动态的，可以在页面上写js脚本直接调用。主要用selenium模块。

　　4）成为api：应用是运行在网页上的，可以用运营工具、定时任务处理、爬虫工具等很多方法。可以写saas数据库客户端，也可以手机端抓取文本数据。php就是抓取工具，对比java或者c语言，php不需要那么庞大的容器和接口，下载、安装、配置都很简单，只需要一个数据库（mysql、nosql等）或者sqlite的容器。

　　然后php写的逻辑可以嵌套在url上，不仅增强可扩展性，还能实现很多高阶功能。php是最简单直接的，利用定时任务和数据库连接池可以实现很*敏*感*词*，多开两个爬虫，提高定时任务的响应速度。动态调整url可以设置复杂的参数，动态地返回当前页面的内容。

　　php动态数据库方法，比起javac/c++，

　　1）php基于语言本身的特性，可以实现sql扩展和读写增删查查等功能，而使用c++时需要编译。

　　2）php没有预定义链接字段，动态数据库功能，只能依靠调用外部链接。