php 抓取网页 源码(php抓取网页源码所需要的工具是webspherecache，如何转换)

　　php 抓取网页 源码(php抓取网页源码所需要的工具是webspherecache，如何转换)

　　php抓取网页源码所需要的工具是webspherecache，需要通过管理一定大小的cache来抓取网页。简单的cache_size是每次运行服务器的cache大小，cache_hit是当这个值发生后，本次被访问的网页的连接大小，以i来作标记，cache_limit是最大的cache的大小，以ev来作标记。

　　抓取网页的过程通常有两部分，一是获取forminput（位于解析html时获取），二是获取body部分（位于解析网页时获取）。如果上述环节中如果缺少一些环节，网页抓取时也可能抓取不全，甚至抓取错误。本文是基于前几天研究php应用程序抓取新浪微博数据的抓取程序源码及config.php的内容和实践之后完成的。

　　php抓取网页原理的基本思路是获取请求所需要的json数据和格式（json格式支持xml格式和csv格式）通过json来解析网页内容来获取网页内容（bytecode）然后来获取body其中json数据存储在浏览器中，即json/xml。关于格式原理，参考mozilla/json-fastsq，网站中各种格式方便抓取和使用，但是格式不容易获取，因此我们来设计一个数据格式转换插件解决格式问题。

　　基于fastjson和json文件方便抓取和使用，我们首先要解决格式问题。格式转换网页格式设计以json/xml为基础，这样做一个转换插件也就相对容易了。与php格式转换不同，json转xml往往需要人工手动编译成bytecode，如何转换也就成了问题。网页转换器教程很多，我不愿意阐述原理过于繁琐。但我能想到的一种方法是使用外部库的return参数，通过这个参数将json/xml转换成bytecode。

　　比如百度自带的mjsonapi，该api已经内置在cookie里面。百度应用已经改名为mjson，这个api在php环境下也可以直接使用。mjsonapi的apidemo#php_script_api。