“埋点”的概述及数据采集系统（一）

　　“埋点”的概述及数据采集系统（一）

　　“购买点是互联网获取数据的基础； data 采集系统是提高掩埋点效率，确保掩埋点标准和数据质量的武器。”

　　埋点，在互联网上，可以说是一种普遍的技术。像BAT一样大，像初创公司一样小，如果没有埋葬点，那么基本上就看不到数据源的全局了。本文文章简要介绍了掩埋点和数据采集系统。

　　01

　　—

　　什么是埋藏点

　　埋点是指用于捕获，处理和发送特定用户行为或事件的相关技术及其实现过程。例如，用户单击某个按钮，浏览某个页面等。

　　刚接触该行业的孩子可能会问：为什么要掩埋一些东西？答：这是为了获取数据，即获取某个用户的时间，位置和操作。仔细考虑一下。如果您不明白这一点，那么您如何知道用户单击了前端页面上的一个按钮？

　　具有一定技术背景的孩子会再次询问：如果我单击一个按钮，网站将不会收到请求，我不知道背景是什么，为什么要埋葬它？答：因为并非所有操作后台都可以接收请求。为了方便用户，许多网站页在一个请求中加载了很多内容。它们之间的选项卡切换根本不需要服务器，因此它们会丢失。删除数据。更不用说APP方面了，其中许多是本机页面，页面是来回切入的，根本没有网络请求。

　　因此，如果服务器中存在请求的数据，是否不需要将其掩埋？哈哈，这是掩埋点的分类：前端掩埋点和后端掩埋点。

　　上面提到了所谓的前端掩埋点。 网站前端或APP中嵌入了一段JS代码或SDK。每次用户触发特定行为时，都会采集此类日志并将其定期发送到服务器。 ，这完成了前端用户行为日志的采集。为什么称其为“埋点”？这是因为采集代码嵌入在每个目标位置，因此在视觉上称为埋入点。前端嵌入有很多工作。例如，页面上有20个按钮。通常情况下，每个按钮都需要嵌入代码。有些网站收录数千页，并且嵌入代码可能会用尽。

　　所谓的后端掩埋点实际上是一种自然地请求并与服务器交互的数据类型。只要每个用户请求都记录在服务器端，这种数据就不需要通过前端掩埋。例如，当用户搜索电子商务公司网站时，每次他输入关键词并进行搜索时，他肯定会请求后端（否则将没有搜索结果），然后只需从服务器只记录内容，时间，人等信息。工作量比前端嵌入式代码要小得多。

　　当然，朋友会问，例如，我在搜索页面上输入了关键词，但没有搜索。如果它是后端掩埋点，就不可能将其记录下来吗？没错，但是这类数据通常较少，因此不需要对这些数据进行前端掩埋。毕竟，后端掩埋的实现比前端要容易得多。当然，针对具体情况进行具体分析，如果是真正精细的操作，则即使是用户的丝毫行为也必须计算在内，但成本绩效需要进行衡量。

　　由于本文主要要讨论数据采集系统，因此在掩埋点的设计，掩埋点的实现以及各种类型的掩埋点事件模型的引入方面仍涉及很多内容，因此我不会在这里进行扩展。以后找时间与大家分享。

　　02

　　—

　　什么是数据采集系统

　　在正常情况下，掩埋点的设计和实现是手动完成的。数据PM将整理掩埋点的要求，设计掩埋点的规则，并进行研究和开发以负责掩埋点的着陆。

　　但是如上所述，掩埋点的工作量很大，并且有很多重复的内容，这无疑不是一种有效的方法。更重要的是，埋藏点和采集数据需要进行一系列数据清理，数据处理和数据开发，以生成业务人员想要查看的语句或报告。这是一个很长的数据链接。

　　此时，data 采集系统应运而生。

　　实际上，市场上仍然有许多data 采集系统，并且许多网站启动了免费data 采集服务。例如，谷歌的谷歌分析，百度统计，有盟等。本质上，它们都是数据采集系统。以下是百度统计的屏幕截图：

　　GA在网络方面采集表现出色，而Youmeng则专注于APP方面。

　　这些网站的核心原理是提供一块JS（网络端）或SDK（应用程序端），用户可以将此代码嵌入自己网站，然后登录到GA或百度统计信息查看数据的各种表现形式。

　　除非有一些更个性化的掩埋要求，例如某些特殊的按钮和特殊的操作，否则我也想采集下来，或者只是将所有要点埋在网站上。

　　您会发现此平台大大节省了埋藏点的工作量，同时节省了大量数据处理和处理工作，并且有各种现成的可视化分析模块进行分析，这非常方便。下方：

　　如果获得，就会失败。什么东西少了？无法保证数据安全。为什么？因为本质上您嵌入了第三方网站的JS和SDK，以便将前端采集中的用户行为发送给第三方服务器，所以网站上的用户情况实质上是第一个三方网站很清楚。

　　此外，第三方平台采集都是与流量相关的内容。除非公司本身将其传输给第三方，否则无法分析与后端相关的内容（例如交易和搜索）网站。否则，第三方网站无法分析此部分。在分析的全面性方面缺乏内容。但是，免费使用它不是很芬芳吗？这取决于如何测量它。

　　但是，对于大型工厂，data 采集系统通常已朝着自行开发的道路发展。

　　03

　　—

　　data 采集系统中收录哪些模块

　　那么，data 采集系统通常收录哪些模块？

　　（[1） Data 采集 Module

　　这部分主要完成数据采集的各种配置，主要包括：站点访问，掩埋点申请，掩埋点计划和其他模块

　　（[2）数据管理模块

　　这部分主要管理采集的数据。包括网站管理，事件管理等。

　　（[3）统计分析模块

　　这部分主要是分析各种维度的交通数据。实际上，许多内容与BI分析系统重叠，例如流量路径分析，保留分析，归因分析等。还有许多基本的监视报告。

　　（[4） 采集监视模块

　　这部分主要是监视采集的项目。

　　●

　　●

　　后台回复“入群”即可加入小z数据干货交流群