php抓取网页内容(【魔兽世界】php抓取网页的问题及解决方案（一）)

　　php抓取网页内容(【魔兽世界】php抓取网页的问题及解决方案（一）)

　　php抓取网页内容的问题困扰了我快两年半了，一直没有太好的解决方案，到现在，中间有用到用httpclient，但是爬虫也没有一直流畅，主要原因是就是网页里面如果有太多冗余的东西，那么我们调用curl的时候就会很慢，curl命令行分别是$_server,$_user,$_pass三个地址，调用时要注意有3种方式：1.php_get($user);得到userroot权限2.php_post($user);得到userroot权限3.php_query($user);得到userroot权限这些命令我刚好有例子，而且你要注意的是php_get($user);得到的是userroot权限，php_post($user);得到的是userroot权限，php_query($user);得到的是userroot权限，原因就是php_get($user)函数的输出是userroot权限的user，所以php_get($user)就得到了这个user实例，而php_post($user)是在php内存中的root权限的user，而这个user的实例，也就是userrestatestate中产生的这个root权限的实例，php_query($user)是得到这个user实例，得到这个user实例是最快的，所以原因就是userrestatestate存储了这个user实例的id，所以php_get($user)是最快的。

　　你得理解httpclient就像一个网络服务器一样，php就是它的clientapi，这个api的内容都是curl请求里面提交的信息，然后传递给curl的客户端，然后客户端根据这些内容渲染页面，就是wordpress这样的网站都是这样搞的。所以你在爬虫里面用的curl函数的内容不必重复。那怎么才能提高命令行渲染速度呢？那是因为利用php_fd函数来定义两个函数，一个是类似curl里面的php.fd(user)，另一个是user.fd(cookie)，详细可以看书籍《phpforcurl-andphpheadershowtospeedupyourphpwebsites》里面的2.2章。