php抓取网页数据实例(php抓取微信名及朋友圈(php网页数据实例))

　　php抓取网页数据实例(php抓取微信名及朋友圈(php网页数据实例))

　　php抓取网页数据实例：抓取微信名及朋友圈(php抓取网页数据实例)抓取对象：微信名及朋友圈数据抓取规则：分析微信名对应的朋友圈数据抓取字段：微信名，朋友圈图片(如果是其他图片，那么需要分析图片大小）1.一次性抓取微信名、朋友圈数据，并存储redis；2.分析获取到的url结构，计算每个url对应的页面长度，对比php对同一页面的抓取效率，并将最长的页面数据存储excel；3.将excel存储到mysql数据库；需要php-libs、laravel、ci等版本，抓取网站类型是如：旅游、考研等，由于用户群体并不多，所以对抓取的页面要求不是很高。

　　4.计算全部页面内容的总数量，即每页放置多少个urls，在数量相同的情况下，php-libs选择最小的页面数量。因为抓取的多页，各页面抓取效率相差也会比较大，会丢失很多的数据。

　　参考：-libs/php-libs-tools/php-web-data-records/php-web-data-records-v5.7.0-stable.example.jsdatarer-webdata.example.js

　　我自己使用phpmyadmin的view层，对html文件内容存数据库并做分页处理，操作速度快，也有了session。

　　我对php抓取操作了解不多，phpmyadmin不知道能不能满足题主要求，我认为php抓取网页的话，还是需要了解一下抓取的基本流程。比如对url进行分析，判断其是否需要进行redis缓存，如果redis缓存了，就需要在对相应的表做读写操作等等，都有各自的开发工具或者包可以安装，比如phpgex等。如果题主不了解这些过程，那么建议楼主可以参考下googleproxy，其中很多详细的操作步骤，一些常用的xml操作语句。