全自动采集最新行业文章(埋点行业年度最温柔一讲，我们为什么要专门埋点？ )

　　全自动采集最新行业文章(埋点行业年度最温柔一讲，我们为什么要专门埋点？

)

　　埋点分析是一种常用的数据采集方法。经过不断的演进和发展，已经进化出了很多类型的data采集方法，并且各有特点。为了让大家更系统、更详细的了解，我们将围绕“埋点”的概念、演化形式、应用实例展开一系列讲解，系统阐述，呈现业内最温和的讲座。

　　这么多文章都在说埋点，为什么还要写呢？首先，这不是一篇纯技术文章文章，而是站在一个非技术人员的角度，希望通过简单的语言描述，让大家快速了解这些技术概念。另外，目前市面上的文章，说是被埋没了，要么没有系统整理知识，要么不够客观，有失偏颇。了解埋葬的真正含义。

　　埋点方法总结

　　▌为什么要掩埋？

　　互联网应用（网站，APP）在研发过程中往往没有专门记录用户身份和行为数据，也不收录专业的数据分析功能。但有时，为了分析用户产生某些动作或不产生某些动作的深层原因，需要进行详细的用户数据分析。这时候就需要使用专业的用户分析工具和埋点。

　　数据采集​​是任何数据平台的初始动作。对于互联网应用来说，用户行为的捕捉和获取是重中之重。如果没有准确全面的用户身份和行为数据作为输入，后续分析中获得准确洞察的可能性就会存在不确定性，闭环营销也将缺乏流程数据基础，难以开展精细化运营。

　　▌埋点原理

　　对于一个基于用户行为的数据平台来说，用户界面中出现的能够获取用户信息的接触点是用户数据的直接来源，而建立这些接触点的方式就是把它们埋起来。当这些联系人获取到用户行为和身份数据后，会通过网络传输到服务器进行后续处理。

　　嵌入点从准确性的角度分为客户端埋点和服务端埋点。客户端嵌入，即在客户端操作界面中，记录客户端生成动作时的用户行为。这些行为只会发生在客户端，不会传递到服务器端；而服务器端嵌入点通常在程序和数据库中。交互界面用于埋点。这时，埋点会更准确地记录数据的变化，同时也会降低网络传输等原因带来的不确定性风险。

　　从分析的角度来看，数据越准确全面，越能达到理想状态；但在实际生产过程中，还需要考虑数据采集的可行性等问题。由于数据分析工具的最终用户可能是企业内部的各种角色，如工程师、产品操作员、营销人员甚至其他业务人员；每个人都会在不同的时间，以不同的规则将自己注入到产品的不同模块中。采集 关注代码。遵循传统方法，常见的工作流程如下：

　　团队内部还使用一个表格来采集每个团队的跟踪需求，然后将它们交给工程师。如下所示：

　　事实上，即使是知名的数据分析服务商 Mixpanel，也只能长期使用这种工作流作为其推荐的最佳实践，甚至不得不在文档中心花费空间来提供几种不同风格的文档帮助您熟悉此工作流程。

　　▌传统埋点不足

　　一遍又一遍地迭代，行为采集和埋点管理这两个动作构成了这个工作流的闭环，但是这个闭环有几个明显的缺点。因此，它们现在也被用于实际工作中。大家都很苦恼的地方：

　　在实际工作过程中，一方面，一些企业强调数据采集的重要性，但另一方面，他们仍然没有真正重视它。

　　对于行业从业者来说，数据采集和管理从来都不是达到一定使用水平的问题，但只要数据业务还在发展，就需要通过自我迭代不断探索更好的采集和管理。方式问题。时至今日，Mixpanel等国外知名厂商仍在努力提供更高效、更准确的埋点方式；国内厂商也有很大的提升空间。

　　说完“埋点”这个大概念，其细分概念立马浮现，如“无埋点”、“全埋点”、“无痕埋点”、“*敏*感*词*埋点”、“可视化埋点”等等等等。从用户的角度来看，如果对这些概念还不太了解，就很难做好数据采集结合业务，也就无法选择埋点适合您的团队和业务...

　　下面我将整理并简要说明所有可能的埋点方式及其名称，需要对您的工作有所帮助。

　　▌代码埋藏：最可控的埋藏方式

　　代码嵌入是帮助工程师了解用户如何使用产品的最经典方式。因为工程师手动将埋点组合到代码逻辑中，理论上只要是客户端操作，再复杂都可以采集。常见的有：页面停留时间、页面浏览深度、视频播放时间、用户鼠标轨迹、表单项停留和终止等。特别是一些不可点击和不可见的行为，需要埋代码实现。所以如果我们需要对埋点进行更精确的控制，那么编码埋点是最好的选择。

　　可能你还是分不清积分和埋点的区别。为了埋点，厂商通常会提供一个代码包，可以理解为一个工具包，里面收录了常用的工具。要想埋头苦干，首先得有这个工具包，就是集成SDK。然后按照里面的说明，用这个工具包做各种东西，也就是埋点。

　　当然，缺点也很明显。上面描述的麻烦几乎都和代码埋点有关。为了使掩埋过程更加高效，制造商付出了很多努力。

　　▌埋葬所有积分：让我快乐和烦恼

　　全埋点，国内有些球队也叫“无埋点”、“无痕埋点”、“自动埋点”。是对全自动埋点方式的探索，从名字上看似乎是一劳永逸的解决方案，那么我们先来看看什么是“全埋”。

　　客户端嵌入点一般分为访问级别、页面级别和页内行为级别。当用户访问网站或启动移动应用时，几乎所有厂商都会自动采集报告用户的访问；用户访问不同页面时，部分厂商默认选择不自动采集，作为选项交给用户；而对于用户在某个页面的详细操作行为，只有少数厂商支持自动采集上报。实现了后两种自动采集的厂商通常会说完全埋没。但是，采集 页内行为级别还可以进一步探索其 采集 范围。最常见的就是 auto采集interactive elements 和 auto采集 的区别

　　交互元素包括：链接、表单项（如按钮、输入框等）、HTML的对象级元素等。非交互元素太多了，绝大多数页面元素都属于这一类。事实上，你在网页和移动应用程序上看到的很多界面都不是标准元素，所以实际上界面上很多看似交互的元素是无法自动采集报告的。这是一个遗憾。

　　但是让我们来看看优点。

　　首先全埋点确实会自动采集很多数据，而且以后在使用数据的时候可以直接从数据库中查询，不会面对我想看的时候因为没有埋点采集，无法获取。这是分析师非常流行的一种方法，所以经常听到“尽可能采集采集，后续分析总是可以的”。其次，埋点是一项耗时的工作，需要业务方提供解决方案，工程师埋点，测试团队进行测试。但由于实际工作中埋点较多，每次发布新功能或新活动时，都需要新的埋点，因此埋点不仅耗时，而且出错率也很高。难以控制。有了完整的埋葬点，如果不需要，将首先检索数据。由于程序是自动完成的，所以几乎不存在业务人员要A、工程师埋B的错误。

　　但是，任何业务都有其两个方面。

　　首先，所有埋点的“满”并不是真正的全部。基本计算机浏览器和移动应用程序中常见的页内用户操作包括鼠标行为、键盘行为和手指行为。例如，鼠标点击、鼠标滑动、屏幕滚动、键盘输入、光标选择，甚至静止在网页上都很常见。除了点击式的按压，移动终端还有多指开合、拉动、按压等行为。但这些操作并非都是“埋没”的。通常，只能掩埋点击或按压。这显然是远远不够的，我们甚至不能称之为完全掩埋。

　　其次，所有埋点的“满”都是以采集上报的数据量为代价的，随着数据量的增加，客户端崩溃的概率也会增加。尤其是在移动端，更多的数据意味着更多的电量、流量和内存消耗。从这个角度来看，现阶段也很难做到真正的“全部”。

　　第三，即使能把所有的行为数据都接收回来，在具体分析过程中的二次排序和处理也是无法避免的，甚至是痛苦的。因为机器无法以我们想要的方式在 采集 处有意义地命名所有事件，甚至无法保证即将出现的事件 采集 是完全正确的。所以，这时候埋点前期节省的人工成本都考虑进去了。

　　第四，在这个阶段，完全嵌入点对于用户身份信息和行为附加的属性信息几乎是无能为力的。

　　那么这个功能正是我需要的吗？这实际上是一个程度的问题。关于这个问题，只能说是根据你的实际情况。如果你需要随机探索过去点击行为的趋势，那么这个功能是合适的，否则有更好的选择。

　　▌视觉嵌入：一种所见即所得的嵌入方法

　　代码嵌入和完全嵌入无法平衡易用性和准确性。视觉埋点通常被称为“无代码埋点”。如前所述，代码埋藏的缺点对于网站来说还好，但对于移动应用来说无疑是极其低效的。为了解决这个问题，在部分厂商选择全嵌入的同时，也有大量厂商选择了所见即所得的嵌入方式，即视觉嵌入。

　　视觉跟踪的好处是可以直接在网站的真实界面或者手机app上操作跟踪，跟踪后可以立即验证跟踪是否正确。这还没有结束，对所有客户部署跟踪终端也几乎实时生效。由于可视化的这些好处，分析的需求方、业务人员以及无权接触代码或不懂编程的人都可以以非常低的门槛获取数据进行分析。这是向前迈出的一大步。

　　可视化埋点部署原理

　　支持视觉跟踪的 SDK 会在访问被监控的 网站 或移动应用程序时与服务器检查是否有新的跟踪点。如果发现更新的跟踪点，将从服务器下载并立即生效。这样可以保证服务器接收到最新的埋点后，下次访问时可以部署所有客户端。

　　视觉嵌入和完全嵌入对于嵌入和分析有着完全不同的追求。视觉跟踪的思路是提高原有工作流程的效率——还是需要梳理需求，设计跟踪；全跟踪简化了工作流程——反正数据会由采集返回，这两个步骤的需要很容易被忽略。这里不能说哪个更好，因为事前的严谨规划和事后的发散探索是不同的分析角度。而且，这两个埋点根本不是独占的，可以同时使用。

　　视觉埋点也有很多局限性。

　　首先，视觉嵌入只针对点击可见元素，最常见的可见元素是点击行为。点击操作的埋点确实是目前埋点可视化的重点。但从实际情况来看，复杂页面、非标准页面、动态页面都增加了视觉嵌入不可用的风险。一旦遇到，只需要代码嵌入。

　　其次，对于点击操作附加的业务属性，虽然也可以通过进一步选择属性所在的元素来获取属性信息，但国内厂商支持的较差。

　　三、为了保证埋点的准确性，埋点的可视化逐渐集成了更复杂的高级设置，比如：“同页”、“同版本”、“同级别”、“同文本”…… ，加上这些复杂设置的可视化嵌入也是提高效率的可视化嵌入吗？

　　▌标签管理员：低调高手

　　您可能对标签不熟悉，但您熟悉用于 采集 网页数据的 SDK。这些嵌入在网页中，可以采集 网页、移动应用程序或视频上的数据，这是监控类标签。但是标签的用处远不止这些，通过在 网站 中嵌入代码，工程师可以赋予 网站 很多额外的功能。除了刚才提到的数据监控，它还可能为网站提供一些附加功能，最常见的就是推送个性化内容，比如：A/B测试、消息推送、个性化广告等。

　　如果网站或者手机app使用标签的能力来实现很*敏*感*词*，那么就需要很多标签，标签可能需要经常更新或者更换。同理，网页不错，上网也容易，但手机应用就比较难了。如果错误和遗漏较多，更正将面临一个很长的更正周期。这就是标签管理器派上用场的地方。

　　标签管理器提供了一个容器。工程师只需要将这个容器正确嵌入到网页或移动应用程序中。之后，没有技术能力的团队也可以通过在线管理将各种后续标签发布到网页或移动应用程序中。这样，技术人员和业务人员就可以独立工作了。这听起来像是一个可视化的埋点吗？是的，它们的原理几乎相同。只是视觉嵌入更倾向于为用户在客户端的点击行为提供直观的方法，而标签管理器处于代码级别，可以做更多的事情。

　　标签管理器非常强大的部分是它可以摆脱代码埋点，通过DataLayer获取页面中的变量，例如每个用户不同的用户ID、用户级别、登录状态、购买的名称和价格产品等；并且通过触发器，只有当这些变量达到一定水平时，才能触发事件的上报。是不是很棒！

　　目前最著名的标签管理器是谷歌推出的谷歌标签管理器，简称GTM，占据了83%的市场份额。*敏*感*词*是免费的，但还是提供了极其强大的功能，对于一般的团队使用来说已经足够了。如果你想了解更多关于GTM的功能，可以阅读它的官网，里面有非常丰富的解释和案例。

　　综上所述，目前还没有一个简单通用的在客户端获取用户数据的方案。您应该在适当的场景中选择相应的埋藏方式，以平衡成本和收益。好在现在厂商基本都支持上面的多客户端行为采集方法了。未来对于客户端跟踪来说，集成了标签管理器某些特性的视觉跟踪，肯定能够替代更多的代码跟踪，解决所有常见的客户端行为采集需求。

　　就像早期论坛的编辑框一样，帖子的效果只能通过发布或预览功能看到，但后来出现的所见即所得编辑器让文字编辑变得非常高效和愉快。目前开源社区中流行的 Markdown 格式仍然采用这种方式。在许多流行的 Markdown 编辑器中，它仍然在一侧进行编辑，在另一侧进行预览，或者直接以最终格式编辑。

　　随着物联网时代的到来，越来越多的用户界面将出现在电脑和手机之外，越来越多的内容因人而异。届时，越来越多的 SDK 集成将在未来自动采集更多标准用户行为。对于非标准的、有业务意义的需要计算，或者需要根据具体情况生效的，则可以交给可视化点来完成。但现阶段，最好的组合大概是GTM结合可视化和埋点。