php多线程抓取网页(php多线程抓取网页的教程你可以在网上找一下)

　　php多线程抓取网页(php多线程抓取网页的教程你可以在网上找一下)

　　php多线程抓取网页的教程你可以在网上找一下，总的来说思路大致如下，找一个服务器，连接n多个网页线程，一个线程抓取一个网页，如果抓取100页就连接1000个线程，一直抓取10000页，然后线程连接下一个服务器，再抓取10000页，如此循环，直到服务器终止连接，这时的数据量已经相当大了，可以出去溜达溜达了。

　　php内置的gil，就是控制一个进程能在多线程中执行，否则一个进程线程数越多，cpu占用率就越低，还有编译时间，都是成本问题。

　　抓取结果自己存起来，

　　去吧！选择前面6个，

　　多多线程抓取，新浪一个个服务器，没必要的，要是同时上传100w数据，可能服务器撑不住。买云主机吧，效率高点，减少这些问题。另外补充一点，用mysql扩展，可以组合用，完全可以达到类似爬虫的效果。

　　明显php本身能比单台机器高效的执行任务，但是php连接不到多个服务器就算你得单台机器用sqlserver或者mysql，而只是jboss这种前端server也不一定带得动，多余的性能浪费应该是你想要的。

　　建议优先处理设备地址不同，如果tcp可以的话就优先用nginx。最后，io效率或者网络的速度不是唯一问题。