php抓取网页动态数据(php抓取网页动态数据实际上是请求当前页面里的所有数据)

　　php抓取网页动态数据(php抓取网页动态数据实际上是请求当前页面里的所有数据)

　　php抓取网页动态数据实际上是请求当前页面里的所有数据，然后按照url抓取下来。不涉及页面抓取，那么可以不用暴露自己，实现swoole或者java模拟上传的代码方式，这两种方式先获取自己站点的目录信息，把页面里的数据解析上传就好了。如果是为了解析页面里的数据，可以用apache的phpapi模块来实现。不过需要把爬虫（动态网页抓取）放到ftp服务器上。

　　首先，java动态抓取网页分为静态抓取和动态抓取。静态抓取就是自己写一个脚本做一个接口，要保证所有接口都完全独立。这个需要你自己设计接口和后台，对不是服务器对象的东西，可以简单抓取，遇到io操作直接返回一个status，或者返回一个指示号，让程序完成。动态抓取一般是php或者ruby做。前端是一个静态页面页面，动态页面获取是把页面交给后端程序去完成的。

　　所以静态抓取这一步，是必须先编写程序。其次，真正需要数据的时候。对于一些比较庞大的静态页面数据库都没法整理出来。我更愿意先进行静态化，然后直接给出数据库建库。apache可以搞定sqlite，php和ruby都可以做sqlite的sqlite(我一直这么用的)，把接口包起来。然后页面动态后，直接给出用于动态页面爬取的数据库就可以，方便。

　　数据分析实现下数据采集就可以了，爬虫还是用php或者ruby。最重要的是具体场景，