文章采集api(数据埋点采集到底都是哪些事呢？的应用)

　　文章采集api(数据埋点采集到底都是哪些事呢？的应用)

　　数据采集是数据分析的基础，跟踪是最重要的采集方法。那么数据埋点采集究竟是什么？我们主要从三个方面来看：什么是埋点，埋点如何设计，埋点的应用。

　　一、数据采集 和常见数据问题

　　1.1 数据采集

　　数据采集的方式有很多种，埋点采集是其中非常重要的一环。它是c端和b端产品的主要采集方式。数据采集，顾名思义采集对应的数据是整个数据流的起点，采集不完整，对与不对，直接决定数据的广度和质量并影响所有后续链接；在数据采集有效性和完整性较差的公司往往会发现其业务数据发生了重大变化。

　　数据处理通常包括以下五个步骤：

　　1.2常见数据问题

　　在大致了解了data采集及其结构之后，我们再来看看工作中遇到的问题，有多少与data采集链接有关

　　1、数据与背景差距较大，数据不准确——统计口径不同，埋点定义不同，采集方法带来误差

　　2、想用的时候，没有我要的数据——我没提数据采集要求，埋点不正确，不全

　　3、事件太多，意思不清楚——埋点设计的方式，埋点更新迭代的规则和维护

　　4、分析数据时不知道要看哪些数据和指标——数据的定义不明确，缺乏分析思路

　　我们需要根本原因的解决方案：将 采集 视为独立的研发业务，而不是产品开发的附属品

　　二、埋葬点是什么？

　　2.1 葬礼是什么

　　所谓埋点，是data采集领域的一个名词。它的学名应该叫事件跟踪，对应的英文是Event Tracking，是指捕获、处理和发送特定用户行为或事件的相关技术和实现过程。数据埋点是数据分析师、数据产品经理和数据运营商，他们根据业务需求或产品需求，针对用户行为对应的每个事件开发埋点，并通过SDK上报埋点数据结果，并记录汇总数据。分析、推动产品优化和指导运营。

　　该过程伴随着规范。通过定义可以看出，具体的用户行为和事件是我们采集关注的焦点，也需要处理和发送相关的技术和实现流程；数据嵌入服务于产品，来自产品。，所以和产品息息相关，重点在于具体的实战过程，这关系到大家对底层数据的理解。

　　2.2 你为什么要埋头苦干？

　　埋点的目的是对产品进行全方位的持续跟踪，通过数据分析不断引导和优化产品。数据埋点的质量直接影响数据质量、产品质量和运营质量。

　　1、数据驱动——Embedding将分析深度下钻到流量分布和流量层面，通过统计分析，对宏观指标进行深入分析，发现指标背后的问题，洞察用户行为与价值提升关联之间的潜力

　　2、产品优化——对于产品，用户在产品中做什么，在产品中停留的时间，有哪些异常需要注意。这些问题可以通过埋点来解决。

　　3、细化运营-买点可以实现产品全生命周期、不同来源的流量质量和分布、行为特征和人的关系，洞察用户行为与商业价值提升的潜在关系。

　　2.3种埋点方法

　　埋点方法有哪些？大多数公司目前使用客户端和服务器的组合

　　准确度：代码掩埋 > 视觉掩埋 > 完全掩埋

　　三、埋点架构与设计

　　3.1埋点采集顶层设计

　　所谓顶层设计，就是想清楚怎么埋点，用什么方式埋点，上传机制是什么，怎么定义，怎么实现等等；我们遵循唯一性、可扩展性、一致性等，需要设计一些常用的字段和生成机制，比如：cid、idfa、idfv等。

　　用户识别：用户识别机制的混乱会导致两种结果：一是数据不准确，如UV数据不匹配；二是漏斗分析过程出现异常。因此，应该这样做：严格规范ID自身的识别机制；湾。跨平台用户识别

　　同构抽象：同构抽象包括事件抽象和属性抽象。事件抽象是浏览事件和点击事件的聚合；属性抽象，即结合大部分复用场景，增加源差异化

　　采集一致：采集一致包括两点：一是跨平台页面命名一致，二是按钮命名一致；制定嵌入点的过程就是对底层数据进行标准化的过程，所以一致性尤为重要，只有这样才能真正使用

　　渠道配置：渠道主要指推广渠道、落地页、网页推广页、APP推广页等，这个落地页的配置必须有统一的规范和标准

　　3.2埋点采集活动及物业设计

　　在设计属性和事件时，我们需要知道哪些是经常变化的，哪些是不变化的，哪些是业务行为，哪些是基本属性。基于基本的属性事件，我们认为属性一定是采集项，但是属性中的事件属性会根据不同的业务进行调整。因此，我们可以将埋点采集分为协议层和业务层Bury。

　　业务分解：梳理确认业务流程、操作路径和不同的细分场景，定义用户行为路径

　　分析指标：定义特定事件和核心业务指标所需的数据

　　事件设计：APP启动、退出、页面浏览、事件曝光点击

　　属性设计：用户属性、事件属性、对象属性、环境属性

　　3.3 资料采集事件与属性设计

　　Ev 事件的命名也遵循一些规则。当相同类型的函数出现在不同的页面或位置时，根据函数名进行命名，并在ev参数中区分页面和位置。只有当按钮被点击时，它才会以按钮名称命名。

　　ev事件格式：ev分为ev标志和ev参数

　　规则：

　　在ev标识符和ev参数之间使用“#”（一级连接符）；

　　在ev参数和ev参数之间使用“/”（二级连接符）；

　　ev参数使用key=value的结构。当一个key对应多个value值时，value1和value2的连接为","（三级连接符）；

　　当埋点只有ev标志，没有ev参数时，不需要#；

　　评论：

　　ev标识：作为埋点的唯一标识，用于区分埋点的位置和属性，不可变、不可修改；

　　ev参数：埋点需要返回的参数。ev参数的顺序是可变的，可以修改；

　　调整app嵌入点时，ev logo不变，仅修改以下嵌入点参数（更改参数值或添加参数类型）

　　一般埋点文档中收录的工作表名称和功能：

　　A. 暴露埋点汇总；

　　B、点击浏览埋点汇总；

　　C、故障埋点汇总：一般会记录埋点的故障版本或时间；

　　D、PC和M侧页面埋点对应的pageid；

　　E、各版本上线时间记录；

　　在埋点文档中，都收录了列名和函数：

　　3.4 基于埋点的数据统计

　　如何使用埋点统计找到埋藏的 ev 事件：

　　1. 指定埋点类型（点击/曝光/浏览）——过滤类型字段

　　2. 指定按钮子点所属的页面（页面或功能）-过滤功能模块字段

　　3. 指定跟踪事件的名称 - 过滤名称字段

　　4. 知道了ev标志，就可以直接用ev过滤了

　　如何根据ev事件查询统计：当点击查询按钮进行统计时，可以直接使用ev标志查询。有区别时，可以限制埋点参数的取值；因为ev参数的顺序不要求是可变的，查询统计的时候，不能根据参数的顺序来限制；

　　四、应用——数据流的基础

　　4.1 指标系统

　　系统化的指标可以整合不同的指标、不同的维度进行综合分析，可以更快的发现当前产品和业务流程中存在的问题。

　　4.2 可视化

　　人类解释图像信息比文本更有效。可视化对于数据分析非常重要。使用数据可视化可以揭示数据中固有的复杂关系。

　　4.3 埋点元信息API提供

　　data采集服务会将采集收到的埋点写入Kafka。针对各个业务的实时数据消费需求，我们为各个业务提供单独的Kafka，流量分发模块会定时读取。取埋点管理平台提供的元信息，将流量实时分发到各个业务的Kafka。

　　数据采集就像设计一个产品，不应该过分，留有扩展的空间，但要不断思考有没有数据，是否完整、详细、稳定或快速。