文章采集规则(如何从0到1开始用户行为分析数据采集工作？)

　　文章采集规则(如何从0到1开始用户行为分析数据采集工作？)

　　用户行为数据采集──购买积分是用户行为分析中非常重要的环节，它直接决定了数据的广度、深度和质量，并影响到后续的所有环节。就嵌入本身而言，技术实现并不难，但整个嵌入过程可以说是非常复杂和繁琐。需要考虑的细节和流程很多，如何采集不同类型的客户端，如何统一数据，客户端需要什么信息采集，后端需要什么信息采集，如何减少数据上报的延迟和遗漏，如何统一管理数千个埋点？

　　这一系列文章基于用户行为分析数据平台一年的工作经验。会思考和讨论埋地的全过程，涉及埋地基础知识的介绍，讨论如何从0到1开始用户。行为数据采集工作，分享项目的埋地方案，介绍埋地点管理系统，梳理整个埋点协作流程。

　　文章系列第二篇，讨论用户行为数据采集工作建立采集规范的第一步。上一篇文章介绍了三种常见的埋点方法：代码埋点、全埋点、视觉埋点。点击查看。

　　从0到1的用户行为分析

　　用户行为分析需要考虑四个方面：“data采集标”、“data采集”、“数据处理与计算”、“用户行为分析平台”。

　　建立数据采集normative规范的重要性

　　埋点规范的建立是用户行为分析中最重要的事情。在开始埋点之前，必须建立规范，以便所有参与者都可以遵循这个标准采集数据。三个原因：1）如果每个业务线和团队都按照自己的想法做数据采集，这些数据只会是孤岛，很难整合在一起发挥大数据的价值； 2）数据分析要在统计口径一致的情况下，讨论才有意义。 采集 需要保证一致性。例如，在构建推荐系统时，您想知道推荐项目的曝光率。这时候就需要制定曝光的标准。如果业务线A考虑暴露产品图片的边缘，业务线B暴露整个产品图片，那么这样的统计结果会有很大的不同，因此需要制定统一的规则； 3）Specification 不仅是一个约束，更是一个指南，让团队的所有成员都能快速上手。

　　规范的建立包括数据规范和流程规范两部分。

　　数据规范

　　数据规范，主要是明确哪些字段应该是采集，采用什么格式，采集时序是什么，输出可以是共享文档，也可以是在线系统。

　　你想要采集哪些字段？确定哪些字段采集需要分析来自业务线的数据需求。比如分析不同手机型号访问客户端的情况，需要字段采集手机类型；再比如，如果你想知道点击一个按钮时有多少用户完成了实名认证，就需要采集是否完成实名认证这个字段。一般数据团队连接业务线运营产品人员，梳理数据需求，拆解成具体的采集字段（应该包括字段、采集timing、值描述等），然后埋点 点击团队确认可行性和数据上报格式、上报策略、上报地址。这样就形成了嵌入点的数据规范，然后可以输出为文档供团队直接共享，也可以在线系统上共享。

　　埋点方案设计实例.png

　　工艺规范

　　流程规范规定了标准的工作流程，明确了嵌入各方的需求和责任，明确了协作的流程，以及各个环节的可交付成果。

　　在从埋藏需求、埋藏设计到实施、测试、部署的整个过程中，至少涉及以下三类角色/团队：埋藏需求的业务方（以下简称业务方）、埋藏研究和开发测试团队，数据团队。职责：

　　完整的埋点工作流程如下：

　　埋点工艺规范

　　主要链接如下：

　　提交埋点要求

　　此链接由业务方发起。通常是业务方的运营人员、产品经理、数据分析师根据业务数据分析的需要提出埋点要求。需求审查

　　本环节由数据团队牵头，嵌入式研发测试团队参与，业务方确认。数据组根据业务需求设计嵌入方案，输出“嵌入方案设计文档”，组织需求评审。在需求评审会上，埋点研发测试团队确认了需求的可行性，业务确认事件设计方案符合业务需求。如果一次评审没有达成一致，则需求将被多次评审，直到三个团队达成一致。埋点开发

　　埋点开发前，业务需要在线登记埋点信息（在用户行为分析平台的埋点管理模块中完成，埋点模块管理用于跟踪埋点生命周期，一个埋点，只需要提出，到开发上线，到最终报表和监控都在这个模块管理，后面有机会详细介绍。），信息内容必须与最终确定的《埋点方案设计文件》保持一致。研发团队确认埋地现场的注册信息后，开始具体的开发工作。埋点测试&验收&在线

　　埋点数据测试由测试仪完成。测试完成后，数据团队和业务方会接受，然后由研发人员进行部署。数据分析与报表监控

　　埋点上线后，业务方可以登录用户行为分析平台进行数据分析，监控上报的埋点数据。