php抓取网页数据插入数据库(php抓取网页数据库这位同学可以先告诉我你想抓哪些内容吗？)

　　php抓取网页数据插入数据库(php抓取网页数据库这位同学可以先告诉我你想抓哪些内容吗？)

　　php抓取网页数据插入数据库

　　这位同学可以先告诉我你想抓哪些内容吗？抓取贴吧、秒拍、微博，也可以抓取知乎、新浪、腾讯的相册，天猫的商品数据，这么多种内容，目标肯定会是用php+mysql处理。

　　给你个好的选择。买张、天猫的专线，然后他们的后台数据接入你手上来。你只需要不停抓，不停改，不停发送就行。基本上50w没问题。别忘了，上传要用xmpp。

　　我也遇到这个问题了，你可以试试我的策略，用的数据接入php的flash和mysql的sqlserver，这样处理效率提高了不少。上传数据可以直接不间断的抓，50万数据量用内存缓存吧，要不你一个接入端口每隔10秒抓一次吧。

　　50w的php程序，推荐用python，而且采用nodejs，

　　50w数据量估计你已经测试过了只要抓2~3个帐号就行了即使没测试过你也可以记录下所有用户的信息你的工作量比50w小太多了

　　关键点在于接入系统和后台数据库可以是php也可以是node.js可以从数据库读取也可以从公网读取，

　　至少需要抓取50万个用户,发射1亿个僵尸网络...我想你应该用不到

　　可以结合redis做缓存，

　　说个用过的，整站，50万多只能做分页，