php 抓取网页内容(php抓取网页内容前几年风行抓取一部分电商网站的商品信息做数据挖掘和分析)

　　php 抓取网页内容(php抓取网页内容前几年风行抓取一部分电商网站的商品信息做数据挖掘和分析)

　　php抓取网页内容

　　前几年风行抓取一部分电商网站的商品信息做数据挖掘和分析，就像题主这样一个一个抓，

　　看关键字。查google。

　　直接用一个数据库，将一些数据打到不同数据库中，对于单个数据库来说，抓取这些数据要花费很多时间和精力，而且效率也不高，所以我对于一些程序抓取不能满足我的需求后转向爬虫。简单来说就是抓住几个关键字，然后各种抓。

　　建议你可以去爬一些快手天佑主播发的内容，

　　如果你要在短时间内完成一项持续或者长期的工作，那肯定需要相关的开发知识，如果要零成本完成的话，我个人认为首先要解决你的问题，即问题具体指向何处。如果是爬取电商平台商品数据，你需要数据分析，主流的天猫京东京东拼多多等都有，这些平台里边很多商品都有对应的商品相关数据，商品维度的话可以爬取商品链接，按销量排序，按价格排序，按卖家相关等排序等等等，如果是根据产品id爬取这个产品相关信息的话，你还需要根据产品定位（功能定位）、有无活动、商品规格等信息。

　　回到正题，短时间内抓取大量商品数据肯定是不可能的，我们先不考虑技术问题，其次你的工作产生相关价值是什么，如果你的价值是你学习了一大堆东西，那不行，如果你的价值是你会分析商品卖点的话，也不能使用抓取来的数据。如果是应急性需求，那完全没问题，这个时候的大数据分析要考虑的不是技术问题，而是数据分析逻辑性问题，其实你百度一下就能学会了。