文章采集器(文章采集器适合做好互联网基础产品和电商，基础的爬虫逻辑)

　　文章采集器(文章采集器适合做好互联网基础产品和电商，基础的爬虫逻辑)

　　文章采集器适合做好互联网基础产品和电商，基础的爬虫逻辑还是要明白，电商也就那些东西，可以用美丽说、蘑菇街；运营助手和数据魔方都差不多，有规则的系统自动过滤一部分的数据，基本对一些大数据分析和bi要求的需求可以满足。后面两个库比较难找。魔方是阿里开发的，一套代码对接不同的平台，功能上更强大。

　　数据产品（抓取）数据平台数据发现（挖掘）

　　我对数据产品的了解是主要用于从很多维度去分析数据，

　　抓取和分析，一般根据用户的实际需求来选用哪个吧。看重分析哪个角度，是长期分析还是阶段性分析。抓取对于实时数据比较多的场景比较适合，比如聚合，数据推送等。

　　我对数据产品的认识一直是基于这几点：抓取，后期整理归档；分析，运营转化；挖掘，数据分析和挖掘。其中对抓取的分析，包括数据来源可以分为外部抓取，也可以是内部抓取。对分析的分析有组合抓取分析和单独抓取分析。对挖掘的挖掘可以有单独抓取和组合挖掘分析。一般我们能接触到的互联网公司在抓取都做了明确定义，对于需要特定分析场景，我们的数据产品可以针对性的做细化。从数据类型来分类，不同的类型数据需要分析的角度不同。