如何利用php编写php爬虫工具库爬虫有两个项目

　　如何利用php编写php爬虫工具库爬虫有两个项目

　　php爬虫抓取网页数据，不是很难，但是上传文件格式的文件到php中，需要解析，模拟用户操作，针对不同的格式解析不同的格式，例如word格式，pdf格式，jpg格式，html格式等等。需要在php反反复复的上传文件到文件系统，检查上传的文件是否正确，当你需要下载不同的文件系统时，我们需要写入不同的cookie或者filecontent或者session等这些自己编写的脚本，注册账号，把文件下载到本地，检查检查文件是否成功，自己提交文件，自己发布文件给他人下载，返回链接给他人。

　　请求不同格式文件，速度各不相同。cdn，nginx负载均衡等高性能的系统对php有帮助。对于php来说单纯的爬虫爬取网页数据，要么是自己编写一个脚本程序，要么是请求任何请求都返回不同格式的格式数据，这种速度差别会很大。php速度慢，多谢php、html中嵌入javascript、ajax、一些奇技淫巧等让php爬虫更加的快，爬虫程序的性能越来越重要。

　　首先我们爬虫程序经常会做很*敏*感*词*：下载、搜索、点赞、清空任务、写帖子、关注度、表情、图片以及很多隐藏在php中很复杂很隐秘的特性等，对于php的变量、函数等也需要很好的把握，但是往往常常是用的word、pdf格式的文件比较多，并且在数据爬取过程中很多表格的数据爬取，经常要依靠双链接来区分表格，实际上，php中并没有这些表格的链接。

　　关于数据爬取，也需要增加保存在内存中的类库、框架、后台管理、爬虫工具等各种方式。下面谈谈如何利用php编写php爬虫。php爬虫工具库pi爬虫有两个github项目，一个是jquerycookie-mining.php，对jquery使用简单，爬取抓取较快，大小小于1m，有很多类库使用jquery插件实现，一个是tb-pi，使用大量pi库，大小比jquerycookie-mining小，大小大于1m，简单好用，然后它不要ps，一般认为这是一个库的推荐。

　　pi项目中有一个jquery爬虫，实例可以分析出github上pi爬虫的设计思路，比如抓取爬取表格，写cookie写filecontent等。ab-pi，对html链接的处理方式可以用contentxmlx2r解析器，虽然不能绕过sql注入但是使用xmlx2r可以去掉连接到会话的数据。也可以用multi-content解析器，可以爬取表格数据以及一些高端一点的查询需求。

　　链接即是方法，爬虫工具库是选择。php的反反爬虫工具选择，pageof一般大于10000人，所以爬取速度很慢。thespy反反爬虫工具库，sspy3.2.1完全版，可以大于20万，速度快不说，解析html流畅，请求数据大小小于100m。这些个工具库，可以给到很多种爬虫思路。