总结:有赞埋点实践

　　总结:有赞埋点实践

　　1 简介

　　大数据应用一般包括采集、处理、存储、计算和可视化。其中，采集为来源。在保证全面性、准确性和及时性的前提下，最终处理的指标结果是有价值的。

　　埋点作为一种重要的采集方法，可以将用户行为信息转化为数据资产，为产品分析、商业决策、广告推荐等提供可靠的流量数据支撑。

　　在业务需求很少的情况下，可以通过一些简单的方法来快速采集用户行为。但如果业务线和终端多，数据需求多样，则需要设计跟踪模型和采集规范，实现工具化、平台化、流程化管理，确保跟踪质量。

　　2. 事件模型

　　首先要考虑的是如何描述和记录用户的行为。这里我们使用事件模型，即：

　　我们设计了一个日志模型，可以承载上述信息，并保持必要的可扩展性，将数据映射到 schema 的每个字段，并记录一次完整的行为。

　　3. 采集方法

　　数据模型设计好之后，接下来要考虑的就是如何将客户端采集的用户行为数据传输到服务端，这主要取决于客户端提供的监控能力。目前支持采集有两种方式：

　　3.1 无痕嵌入（或全嵌入）

　　使用浏览器或APP自带的监控方式，采集用户浏览页面、点击等行为。可以采集的信息主要包括：

　　无痕埋葬的优点是：

　　但也存在以下问题：

　　无痕埋藏一般用于有赞中粗粒度的快速业务探索。

　　3.2 代码埋葬

　　代码嵌入是指依靠前端同学自定义监控和采集处理。代码嵌入的优点是：

　　随之而来的是以下问题：

　　当业务需求复杂，无痕嵌入采集的信息无法支持分析时，需要进行代码嵌入。

　　4.埋没sdk

　　

　　为了简化前端同学的开发工作，只需要专注于业务本身，并对埋点的一些协议进行必要的约束，有赞开发了多个终端（js/applet/android/ ios/java) 埋点sdk。

　　sdk 默认支持以下功能：

　　前端同学通过sdk提供的接口进行开发，只需要注意：

　　5.日志中间层

　　数据采集​​完毕后，原来的日志还处于非常简化的状态，需要进一步处理到日志的中间层，主要包括以下几个环节：

　　实时流中间层以JSON格式存储在kafka中，并提供相应的JavaBean类，方便实时任务的开发、分析和处理，也可以与streamSql结合使用。

　　离线中间层存储在同一张表中，字段与实时流格式一致，以日期和业务为分区条件，自动创建所有服务的视图表，方便统一调整中间层和数据仓库的权限管理。

　　在这个阶段，有了通用的日志模型和sdk，就可以将跟踪工作标准化。但随着我们承接的业务越来越多，等待我们的问题也越来越多。

　　6. 位置追踪规范

　　在精细化操作、算法推荐等应用场景中，需要准确把握行为发生的位置。如果每个业务都自定义了一套识别方法，那么每个分析工作都需要重新开发，逻辑不能复用，会极大的浪费开发资源，所以需要制定统一的定位规范。

　　我们将仓位分为四个粒度：

　　业务+页面域+组件域+展位域+页面随机码，可唯一确定访问位置。基于按位置分解的维度组合，方便分析各个粒度的访问、曝光、点击数据。

　　有类似的算法跟踪规范，这里不再展开。

　　7. 嵌入管理平台

　　在有赞早期，所有的商业计划都记录在wiki中。随着业务线和项目的快速增加，wiki记录的弊端也逐渐暴露出来：

　　基于开发中遇到的各种问题，我们越来越意识到平台建设的必要性，主要涉及以下能力：

　　当有埋点元数据时，可以扩展更多的操作空间，如：

　　7.1 埋点元数据管理

　　根据事件模型和位置追踪规范，我们将元数据的组件划分为业务、页面、组件、展台、事件

　　

　　7.2 项目过程管理

　　新项目启动时，会有相应批次的埋点需求。为了便于 PM 管理和跟踪进度，以及未来的质量反馈，需要项目级管理功能来支持。

　　嵌入项目可以涉及多个业务，涉及PM/前端/数据/BI/测试等，并跟踪从项目立项到评审、设计、开发、联调、上线的各个阶段。跟踪项目组织与跟踪要求相关的页面、组件、展位和事件。

　　7.3 埋点测试

　　上线前的嵌入点测试直接关系到数据质量。早期的测试是使用抓包工具，用肉眼判断每个事件，不仅效率低，而且容易判断错误或遗漏。因此，在元数据采集完成后，为了解决以上问题，我们设计了埋点在线测试功能。

　　日志检测

　　试验结果

　　使用不同的图标标识检测状态并给出本轮检测的汇总数据。

　　项目测试概述

　　总结项目中所有事件的测试状态，并给出失败事件的详细日志。

　　用户身份

　　为了方便考生快速找到自己的用户ID，平台提供了PC链接、手机扫码、手机号码等快速搜索方式。

　　7.4 质量监控

　　测试覆盖率不足，或者系统的日常开发迭代，可能会导致在线嵌入的质量问题。早期，经常会出现这样的场景：

　　开发者误修改了一段代码，导致在线跟踪事件丢失。经过很长一段时间，运营商发现某项指标波动异常，逐层查询最终定位问题，但这段时间的数据无法恢复。

　　为了避免这种情况一再发生，需要实时监控在线流量日志，并尽快反馈给相关负责人。

　　分享:自媒体文章一文多发的几种方式

　　https://openwrite.cn/

　　如何安装插件

　　首先你需要一个名为 OpenWrite Assistant 的浏览器插件，视频教程如下：

　　https://www.bilibili.com/video/BV18k4y1C7jy/

　　账户配置

　　插件安装完成后，登录OpenWrite工作台，开始配置频道账号。此步骤需要在浏览器中登录其他平台账号。比如你已经登录过CSDN，那么点击这里的认证，CSDN账号就会自动关联到其他平台。认证方法是一样的。

　　文章编辑出版

　　进入页面的文章管理选项，点击添加文章：

　　进入文章编辑页面后，就可以开始创作了。除了文字，默认会设置文章信息和标题，写完后保存即可。

　　保存的 文章 可以准备发送到主要平台。所有认证频道都会自动关联，您可以选择一键发布。至此，多个帖子已经顺利完成。

　　概括

　　OpenWrite应该属于比较大的多发平台，应该有背后的开发团队支持。虽然有些人可能会担心将账户的cookies同步到平台，容易造成隐私泄露问题和收费，但大平台有大平台的优势。只是不会轻易跑掉。如果你付钱，体验可能会更好。总之，综合比较，不如微信公众号同步助手。

　　快写鸭子基本介绍

　　快书鸭是一款本地安装版的多贴软件。目前支持文章在博客园、CSDN、简书、掘金、开源中国、SegmentFault、知乎等7个平台同步发布。不仅可以在软件内编辑文章发布，还可以导入外部文章，对文档管理的支持也不错。

　　

　　如何使用软件安装

　　下载方式一：访问官网下载，这里会同步最新版本更新信息，但下载需要跳转到github站点

　　https://kuaixieya.com/

　　下载方式二：蓝色音乐云下载

　　蓝奏云: https://codeexpander.lanzouw.com/b0100pddi

密码:41fe

　　具体安装比较简单。按照软件安装包的操作说明，一步一步安装即可。

　　文章发布流程

　　• 渠道认证

　　点击频道管理，进入频道管理面板，其中列出了所有支持的发布平台，可以通过授权添加对应平台的账号。

　　以博客园为例，点击授权，会弹出登录窗口，在此处完成登录，关闭此窗口。

　　再次点击授权，可以找到认证状态栏。博客园内的红叉变成绿色对勾，表示通道认证成功。

　　接下来点击设置，修改不同平台的发布选项，如文章类别、属性等信息。完成这一步后，就可以准备发布文章了。

　　

　　• 发布 文章

　　在我的文档模块下，点击新建文章，也可以导入其他已经写好的文件

　　进入编辑页面后，可以看到左栏是原编辑窗口，右栏是文章的发布效果预览，最右栏是可以发布的平台。一键发布到所有频道是可选的。

　　如果你选择发布到简书，你可以点击简书对应的图标，然后一键发布，然后登录简书首页就可以看到你发布的文章（如果顺利的话）。

　　概括

　　快熟鸭是一款还在开发中的产品。正如作者所说，由于它在本地运行，并且账户数据存储在本地，因此安全性可能会略高一些。但是在产品体验方面，文章的发布成功率并不能保证，也不是很稳定。如果以后能更好的优化，应该比 OpenWrite 好用。

　　ArtiPub简介 ArtiPub（ArtiPub的缩写，意为“文章Publisher”）是一个开源的多发行平台，可以帮助文章作者自动发表文章去掘金， SegmentFault、CSDN、知乎、开源中国等技术媒体平台，传播优质知识，获得最大曝光。ArtiPub 安装方便，提供多种安装方式。它可以一键安装和使用。安装一般只需 5 分钟。

　　ArtiPub 目前支持文章编辑、文章发布、数据统计等功能。稍后，我们将添加文章导入和数据分析功能，让您更好地管理和优化您的技术文章。此外，我们将可以访问更多媒体，真正让 文章 随处可见。

　　以上是开发者团队的官方介绍。它也是一个多帖子平台。ArtiPub 真的很想教你搭建一个属于自己的文章 发布平台。没错，ArtiPub 允许你部署和创建一个在线管理网站，在这里你不仅可以在多个平台上同时发布文章，还可以对发布的各种数据进行统计文章，还有就是有点后台监控中心的感觉。

　　当然，如果你想使用 ArtiPub，你需要能够安装它。您需要了解一点编程知识。不想折腾的可以跳过ArtiPub的介绍。虽然上手会比较困难，但是自己搭建的平台更加安全稳定。据说比较靠谱，适合技术类的同学试试。

　　指示

　　鉴于非程序员不懂基础，程序员也不需要额外的介绍来学习，安装步骤我就不写了。安装部署方法可以直接参考官方说明。该网站如下：

　　 https://github.com/crawlab-team/artipub

　　概括

　　ArtiPub最大的优势就是自己配置部署，搭建自己的多帖子平台，但这只是给喜欢学习技术或者懂技术的人准备的；另外，由于官方长期未维护项目，部分原本支持平台的平台改版已过期，不支持多发。如果你想使用它，你需要自己修改源代码。