文章采集api(什么是埋点，埋点怎么设计，以及埋点的应用？)

　　文章采集api(什么是埋点，埋点怎么设计，以及埋点的应用？)

　　Data采集是数据分析的基础，埋点是最重要的采集方法。那么采集的数据埋点究竟是什么呢？我们主要从三个方面来看：什么是埋点、埋点如何设计、埋点的应用。

　　

　　一、数据采集及常见数据问题1.1数据采集

　　data采集有很多种方式，埋葬采集是其中非常重要的一部分。它是 c 端和 b 端产品的主要 采集 方式。 data采集，顾名思义就是采集对应的数据，是整个数据流的起点。 采集 不完整，对吧？它直接决定了数据的广度和质量，并影响到后续的所有环节。在数据采集有效性和完整性较差的公司中，业务中发现的数据通常会发生重大变化。

　　数据处理通常包括以下 5 个步骤：

　　

　　1.2常见数据问题

　　大体了解了data采集及其结构之后，我们来看看我们工作中遇到的问题，有多少是与data采集链接相关的：

　　1、数据与后台差距大，数据不准确——统计口径不同，埋点定义不同，采集方法带来误差

　　2、想用的时候，没有我要的数据--没有数据采集需求，埋点不对，不完整

　　3、事件太多，不清楚含义-埋点设计的方法，埋点更新迭代的规则和维护

　　4、分析数据，不知道看哪些数据和指标——数据定义不明确，缺乏分析思路。

　　我们要从根本上解决问题：把采集当作一个独立的研发企业，而不是产品开发中的附属品。

　　二、bury point 什么是2.1 什么是埋点

　　所谓的埋点是data采集领域的一个术语。它的学名应该叫事件跟踪，对应的英文是Event Tracking，指的是捕获、处理和发送特定用户行为或事件的相关技术和实现过程。数据埋点是数据分析师、数据产品经理和数据运营。根据业务需求或产品需求，开发用户行为的每个事件的对应位置，开发埋点，通过SDK上报埋点的数据结果，记录汇总数据。分析、推动产品优化、指导运营。

　　流程附有规范。通过定义，我们可以看到具体的用户行为和事件是我们采集关注的焦点。我们还需要处理和发送相关的技术和实施流程；数据嵌入点是为产品服务的，它来源于产品，因此与产品息息相关。埋点在于具体实战过程，关系到每个人对底层数据的理解。

　　

　　2.2为什么要埋分

　　埋点的目的是对产品进行全方位的持续跟踪，通过数据分析不断引导和优化产品。数据埋点的好坏直接影响到数据质量、产品质量、运营质量等。

　　1、Data Driven-Buried Points 深入分析了流量分布和流量级别。通过统计分析，对宏观指标进行深入分析，发现指标背后的问题，洞察用户行为与价值提升的关系。潜在关联

　　2、产品 优化-对于产品，用户在产品中做了什么，在产品中停留了多久，有什么异常需要注意。这些问题可以通过埋点来解决

　　3、Refined Operation-Buried Points 可以实现整个产品生命周期、流量质量和不同来源的分布、人群的行为特征和关系，洞察用户行为和增强之间的潜在关系商业价值。

　　2.3如何埋点

　　埋点的方法有哪些？目前，大多数公司采用客户端和服务器相结合的方式。

　　

　　准确度：代码埋点>可视化埋点>全埋点

　　三、沉点的框架与设计3.1沉点采集的顶层设计

　　所谓顶层设计，就是搞清楚怎么埋点，用什么方法，什么上传机制，怎么定义，怎么实现等等；我们在遵循唯一性、可扩展性、一致性等的基础上，我们要设计一些通用的字段和生成机制，比如：cid、idfa、idfv等

　　用户识别：用户识别机制的混乱会导致两种结果：一种是数据不准确，比如UV数据不正确；另一种是漏斗分析环节异常。因此，它应该是： a．严格规范ID自身的识别机制；湾跨平台用户识别

　　相似抽象：相似抽象包括事件抽象和属性抽象。事件抽象是指浏览事件和点击事件的聚合；属性抽象意味着合并大多数重用场景以增加源区分

　　采集一致性：采集一致性包括两点：一是跨平台页面的一致命名，二是按钮命名的一致；设置埋点本身的过程就是对底层数据进行标准化的过程，因此一致性尤为重要。只有这样才能真正用起来

　　渠道配置：渠道主要是指推广渠道、落地页、网页推广页、APP推广页等，这个落地页的配置必须有统一的规范和标准

　　3.2 埋点采集事件与属性设计

　　在设计属性和事件时，我们需要知道哪些是经常变化的，哪些是不变的，哪些是业务行为，哪些是基本属性。基于基础属性事件，我们认为属性必须是采集items，但是属性中的事件属性会根据不同的业务进行调整。因此，我们可以将埋点采集分为协议层埋点和业务层埋点。

　　业务分解：梳理确认业务流程、运营路径和不同细分场景，定义用户行为路径

　　分析指标：定义核心业务指标所需的具体事件和数据

　　事件设计：APP启动、退出、页面浏览、事件曝光点击

　　属性设计：用户属性、事件属性、对象属性、环境属性

　　3.3 Data采集事件与属性设计

　　

　　EV 事件的命名也遵循一些规则。当同一类型的函数出现在不同的页面或位置时，根据函数名进行命名，在ev参数中区分页面和位置。仅点击按钮时，按按钮名称命名。

　　ev事件格式：ev分为ev标识和ev参数

　　规则：

　　当埋点只有ev标志没有ev参数时，不需要带#

　　备注：

　　调整app嵌入点时，ev标志保持不变，只修改后续嵌入点参数（参数值改变或参数类型增加）

　　一般嵌入点文档中收录的sheet的名称和功能：

　　A.曝光埋点总结；

　　B.点击浏览埋点汇总；

　　C.故障埋点汇总：一般会记录埋点的故障版本或时间；

　　D、PC、M页面嵌入点对应的pageid；

　　E。各版本上线时间记录；

　　在嵌入点文档中，收录了所有的列名和函数：

　　

　　3.4 基于埋点的统计

　　如何使用隐藏的统计数据找到隐藏的 ev 事件：

　　1、指定埋点类型（点击/曝光/浏览）-过滤类型字段

　　2、清除按钮所属页面（页面或功能）-过滤功能模块字段

　　3、澄清埋点事件的名称-过滤名称字段

　　4、知道ev标志，可以直接用ev过滤

　　如何根据ev事件查询统计：当查询按钮点击统计时，可以直接使用ev标志进行查询，有区别的时候可以限制埋点参数的值。由于ev参数的顺序不需要可变，查询统计时不能限制参数的顺序。

　　四、Application-数据流的基础

　　

　　4.1 指标体系

　　系统性指标可以将不同指标、不同维度串联起来进行综合分析，快速发现当前产品和业务流程中存在的问题。

　　

　　4.2Visualization

　　人类对图像信息的解释比文本更有效。可视化对于数据分析极其重要。使用数据可视化可以揭示数据中固有的复杂关系。

　　

　　4.3 提供的埋点元信息api

　　data采集服务会将采集的埋点写入Kafka。针对各个业务的实时数据消费需求，我们为各个业务提供了单独的Kafka，流量分发模块会定时读取 埋点管理平台提供的元信息，将流量实时分发给各个业务卡夫卡。

　　

　　Data采集就像设计一个产品，不能过分。不仅要留有扩展的空间，还要不断思考数据是否完整、不完整、详细、不稳定、快速。

　　作者丨赵小洛

　　来源丨赵小洛洛洛

　　相关文章

　　一篇了解data采集埋藏数据的文章

　　如何分析产品的日活跃DAU下降情况？

　　数据指标体系建立流程

　　用户行为分析模型简介

　　![User Behavior Analysis Model.jpg][1] 原标题：几种常用用户行为分析模型的简单介绍一、常用用户行为分析模型------------在数据分析大框架下，通过用户线...

　　喜欢 1