php 爬虫抓取网页数据(php爬虫抓取网页数据-google-chrome/pc/不推荐使用)

　　php 爬虫抓取网页数据(php爬虫抓取网页数据-google-chrome/pc/不推荐使用)

　　php爬虫抓取网页数据-google-chrome/pc/不推荐使用nginx，1是速度太慢，2是比较占内存。另外如果爬虫量比较大，依靠nginx就要经常进行数据清理。采用phantomjs的话需要开发额外的webserver。而且这个爬虫实在太简单了，几句话就能写完，主要还是抓取网页的样式。

　　使用phantomjs需要进行数据清洗，所以不适合抓大流量的网站。建议首选使用httpclient:1.使用apache2.webserver配置：http1.0:curl-o-s"client=&server=http1.0"http2.0:curl-o-s"client=&server=http2.0"结束。

　　phantomjs爬虫。大流量要考虑下负载均衡。小流量。

　　效率？速度？处理多页？作为一个php工程师，我们一般抓完首页后就是再抓接下来的所有页面。一般python的requests很好用。找个合适的工具跑。

　　phantomjs,http协议，

　　phantomjs或者nginx+phantomjs。phantomjs相对完善。参考这里：phantomjs开发技术文档参考github上的wordpressweb_scraping扩展程序。

　　一般来说适合抓取抓取广告联盟，黄牛党、网盘、百度云等一些需要机器验证的大流量网站的数据，抓取很快，全部用nginx就可以了。python的cookie是不可能，一是在浏览器开启；二是机器人来刷下。浏览器开启的办法：只要是http协议就可以。