php如何抓取网页数据(如何使用php+mysql+PHPquery+arphp的方案？-八维教育 )

　　php如何抓取网页数据(如何使用php+mysql+PHPquery+arphp的方案？-八维教育

)

　　通常我们在网站上可能会看到很多数据，我们可以自己分析一下。但是如果需要捕获数据，则需要一个捕获程序。

　　通过这个程序，你可以很容易的把别人的网站以前的页面，几百个页面，或者一个页面的一些内容放到自己的本地。

　　当然，要使用5行代码，还需要做一些准备工作。比如框架、数据库等。

　　我们这里使用的是php+mysql+PHPquery+arphp的方案。

　　1、phpquery 可用

　　看使用计划。

　　2、arphp可以去查看一些使用方法。

　　当然，你可以不阅读本文档，或者使用其他框架，或者不使用框架来编写这个程序。

　　具体代码：

　　require('phpQuery/phpQuery.php');//加载这个框架

$eg1=phpQuery::newDocumentFile("http://www.whu.edu.cn/tzgg.htm");//将你需要的抓取的页面对象化

$res = pq("ul,li")->html()."

";//获取页面中某个对象的html数据

$myfile = fopen("newfile.txt", "w") or die("不能打开文件");//打开一个文件

fwrite($myfile, $res);//将页面内容写入txt

　　当然也可以建一个数据库，然后把内容放到数据库中。

　　只需要这样五个元素，就基本可以完成一个页面内容的爬取了。当然，多页面爬取、单页面内容遍历和内容过滤、https内容或者反网站IP拦截等更复杂的问题，可以深入研究。