汇总：03 | 数据分析全景图

　　汇总：03 | 数据分析全景图

　　看到上面的图片，您的第一反应是什么？

　　高速公路，规则，法律，因此现在我们可以知道数据分析在现代社会中占有重要地位，掌握数据实际上就是掌握法律。当我们了解市场数据并对其进行分析时，我们可以获得市场规律。当您掌握产品自身的数据并进行分析时，您可以了解产品的用户来源，用户画像等。因此，数据是一个新的视角。数据分析非常重要，它不仅是新时代的“数据结构+算法”，而且是公司竞争人才的高地。

　　什么是数据结构？

　　实际上，我们可以从Xiaojia的数据分析项目类中看到它的形式如下图：

　　1.数据采集方法：

　　1.网络抓取工具

　　2.公共数据集

　　3.通过其他方式采集的数据

　　2.数据预处理方法：

　　1.规范化

　　2.二值化：类似于将一条数据或一束数据分为两类：高和低；

　　3.维度转换：我手中有一个二维数据，将其转换为一维数据或三维数据；

　　4.重复数据删除：某些数据重复太多；

　　5.无效的数据过滤：某些数据丢失或不足；

　　3.数据处理方法：

　　1.数据排序：类似于将这堆数据从大到小排序；

　　2.数据搜索：我手上有一堆数据，然后您给了我一个要求，然后根据该要求进行搜索；

　　3.数据统计分析

　　4.数据显示方法

　　1.列表

　　2.图表

　　3.动态交互式图形

　　

　　以上是我从小型咖啡课程中学到的东西。

　　我已经说了很多，实际上我们可以直接看以下摘要：

　　数据采集：这是我们的原材料，也是最基础的部分，因为任何数据分析都必须具有数据源；

　　数据挖掘：可以说是最“高”的部分，它也是整个业务的价值。进行数据分析的原因是要找到规则来指导我们的业务。因此，数据挖掘的核心是挖掘数据的业务价值，这就是我们所说的BI。

　　数据可视化：可以说是数据领域中黄金油的技能，它使我们能够直观地理解

　　

　　数据采集：

　　通常在data 采集部分中处理数据源，然后使用该工具继续进行采集。

　　在这一系列推文中，我将与您分享常用的数据源以及如何获取它们。此外，在使用该工具时，您还将掌握“优采云”自动爬网工件，它可以帮助您爬网99％的页面源。当然，我还将教您如何编写Python采集器。掌握Python采集器的乐趣无穷。它不仅可以让您在微博上获得热门评论，自动下载“全职大师”之类的海报，还可以自动向微博添加粉丝，让您掌握自动化的乐趣。

　　

　　数据挖掘

　　第二部分是数据挖掘

　　

　　掌握数据挖掘就像拿着水晶球一样。它会通过历史数据告诉您将来会发生什么。当然，它也会告诉您该事件发生的信心程度。您可以先记住信心这个词，稍后我们将学习它的具体含义。

　　数据可视化

　　这是非常重要的一步，也是我们特别感兴趣的一步。数据通常是隐藏的，尤其是当数据量很大时，很难感知。可视化可以帮助我们理解这些数据的结构和分析结果的表示。

　　如何可视化数据？

　　有两种方法：

　　第一个是使用Python。在使用Python进行数据清理和挖掘的过程中，我们可以使用Matplotlib和Seaborn等第三方库来呈现它。

　　第二个是使用第三方工具。第三方工具，例如Weitu，DataV和Data GIF Maker

　　

　　数据采集和数据可视化的原理简单易懂。这两个部分侧重于工具的掌握。在学习和分享的过程中，让我掉头发的是算法。

　　下一课，我将分享：数据分析培训指南