全自动采集最新行业文章( 讲埋点的那么多，我们为什么还要写它？（一） )

　　全自动采集最新行业文章(

讲埋点的那么多，我们为什么还要写它？（一）

)

　　

　　埋点的文章那么多，为什么要写呢？首先，这不是纯技术文章，而是站在一个非技术人员的角度，希望通过简单的语言描述，让大家能够快速的了解这些技术概念。另外，目前市面上讲埋点的文章要么没有系统梳理知识，要么不够客观，存在偏见。但是，我们希望大家通过表象，通过系统的讲解和梳理，来了解埋点。真正的意义。

　　

　　埋葬方法总结

　　▌为什么我们需要埋一些点？

　　互联网应用（网站、APP）在开发过程中往往没有专门记录用户身份和行为数据，也不具备专业的数据分析功能。但有时为了分析用户产生某些动作或不产生某些动作的深层原因，需要详细的用户数据进行分析。这时候就需要使用专业的用户分析工具和埋点。

　　数据采集​​是任何数据平台的初始动作。对于互联网应用来说，用户行为的捕捉和获取是重中之重。如果没有准确全面的用户身份和行为数据作为输入，在后续分析中获得准确洞察的可能性存在不确定性，闭环营销也会缺乏流程数据的基础，难度会更大开展精细化经营。

　　▌埋点原理

　　对于基于用户行为的数据平台来说，用户界面上发生的、能够获取用户信息的接触点是用户数据的直接来源，而建立这些接触点的方式就是埋点。这些联系人获取用户行为和身份数据后，会通过网络传输到服务器进行后续处理。

　　从准确性的角度来看，埋点分为客户端埋点和服务器端埋点。客户端埋点，即在客户操作界面，记录客户产生动作时的用户行为。这些行为只会发生在客户端，不会传输到服务器端；而服务器端的埋点通常在程序和数据库的交互界面中进行埋点。这时，埋点会更加准确地记录数据变化，同时会降低由于网络传输等原因造成的不确定性风险。

　　从分析的角度来看，数据越准确和全面，就越能达到理想状态；但在实际生产过程中，必须考虑数据采集的可行性等问题。因为数据分析工具的最终用户可能是企业内部的各种角色，比如工程师、产品运营、营销甚至其他业务人员；每个人都会在不同的时间、不同的产品模块中以不同的规则将自己注入到产品中。关注获取码。按照传统方法，常见的工作流程如下：

　　

　　团队也会用一个表格采集

每个团队的埋葬要求，然后交给工程师。如下所示：

　　

　　事实上，即使是知名的数据分析服务商Mixpanel，也只能在很长一段时间内将这个工作流作为其推荐的最佳实践，甚至不得不在文档中心腾出一些空间来提供几个不同Style的文档来帮助大家熟悉此工作流程。

　　▌传统埋点的缺点

　　反复迭代，行为采集和埋点管理这两个动作构成了这个工作流的一个闭环，但是这个闭环有几个明显的弊端。因此，他们在实际工作中也让大家非常心疼。地方：

　　增加人工成本，即需要投资具有一定业务和技术专业水平的人

　　增加沟通成本，即前期需要多方协作

　　犯错误的成本增加，即发现错误和遗漏，事后无法迅速纠正

　　管理成本增加，即跨版本后，浪费点会造成代码垃圾，影响性能

　　在实际工作过程中，有的公司一方面强调了数据采集的重要性，但另一方面却还没有真正把重点放在这上面。

　　对于行业从业者来说，数据的获取和管理从来都不是一个足以达到一定水平的问题，但只要数据业务还在发展，他们就必须不断地迭代自己，探索更好的获取和管理。路的问题。时至今日，Mixpanel等国外知名厂商仍在努力提供更高效、更准确的埋点方法；国内厂商也有很大的提升空间。

　　说完“埋点”这个大概念，马上就会出现它的细分概念，比如“无埋点”、“全埋点”、“无标记埋点”、“未编码埋点”、“可视化埋点”点”等。等等。从用户的角度来看，如果你还不了解这些概念，就很难结合自己的业务做好数据采集工作，也无法选择适合自己的埋点方法。您的团队和业务...

　　下面我将整理出所有可能的埋点方式及其名称，并简要说明一下，希望对大家的工作有所帮助。

　　▌代码埋点：最可控的埋点方式

　　代码嵌入是最经典的嵌入方法，可以帮助工程师了解用户如何使用产品。因为工程师手动将埋点集成到代码逻辑中，理论上只要是客户端操作，再复杂的都可以采集。常见的包括：页面停留时间、页面浏览深度、视频播放时间、用户鼠标轨迹、表单项停留和终止等，尤其是一些非点击和不可见的行为，需要埋下代码来实现。所以如果我们需要对嵌入点有更精确的控制，那么代码嵌入点是最好的选择。

　　可能你还是分不清融合点和埋点。为了埋点，厂商通常会提供一个代码包，可以理解为一个工具包，里面收录

了常用的工具。如果要埋点，首先得有这个工具包，也就是集成的SDK。然后用这个工具包按照里面的说明制作各种东西，也就是埋点。

　　当然，缺点也很明显。上面描述的苦恼几乎都与代码埋点有关。为了使掩埋过程更加高效，制造商付出了很多努力。

　　▌买全积分：让我开心，让我担心

　　全埋点，国内有的车队也称“无埋点”、“无痕埋点”、“自动埋点”。是对全自动埋地方式的探索，从名字上看似乎是一劳永逸的解决方案，接下来我们来看看什么是“全埋”。

　　

　　客户端埋点一般分为访问级别、页面级别、页面内行为级别。当用户访问网站或启动移动应用程序时，几乎所有厂商都会自动采集

并报告用户的访问；当用户访问不同的页面时，有些厂商会选择默认不自动采集，而是作为选项提供给用户；对于用户在某个页面的详细操作行为，只有少数厂商支持自动采集和上报。实现了后两种自动采集的厂家通常会说是全埋了。但是，页面内的行为级集合还可以进一步探索其集合的范围。

　　交互元素包括：链接、表单项（如按钮、输入框等）、HTML对象级元素等。非交互元素太多了，大部分页面元素都属于这一类。事实上，大家在网页和手机应用中看到的很多界面都不是标准元素，所以实际上界面上很多看似交互的元素是无法自动采集和上报的。这是一个遗憾。

　　但是让我们来看看优点。

　　首先，全埋点确实会自动采集很多数据，以后在使用数据的时候，可以直接从数据库中查询，不会遇到拿不到的情况因为我想看的时候没有埋点采集

。这是分析师非常流行的方法，所以经常听到“尽可能多的采集

，随时可以进行后续分析”的说法。其次，埋点是一项比较耗时的工作，需要业务方提供解决方案，埋点工程师，以及测试团队进行测试。但由于实际工作中埋点较多，每次发布新功能或新活动时，都需要新的埋点。因此，埋点不仅费时，但错误率也难以控制。对于全埋点，无论使用与否，都会首先检索数据。因为程序是自动完成的，业务人员要A，工程师埋B的错误几乎不存在。

　　然而，任何企业都有其两个方面。

　　首先，整个点的“全部”并不是真正的全部。在基本的计算机浏览器和移动应用程序中，用户对页面的常见操作包括鼠标行为、键盘行为和手指行为。例如，常见的鼠标点击、鼠标滑动、屏幕滚动、键盘输入、光标选择，甚至网页上的静态。移动终端除了有点击式按压外，还有多指开合、拉动、用力按压。然而，这些操作并不都是“埋点”。可以被埋没的通常只有点击或按下。这显然还远远不够，我们甚至不能称它们为全埋点。

　　其次，所有埋点的“满”是以采集和上报的数据量为代价的，随着数据量的增加，客户端崩溃的概率增加。尤其是在移动端，更多的数据量意味着更多的功耗、流量和内存消耗。从这个角度来说，现阶段也很难做到真正的“丰满”。

　　第三，即使能把所有的行为数据都收回来，具体分析时的二次整理和处理也不可避免，甚至是痛苦的。因为机器在采集

时不能按照我们想要的方式有意义地命名所有事件，它甚至不能保证采集

到的事件完全正确。所以前期埋点省下来的人工费，这次加了。

　　第四，现阶段，全埋点对于用户身份信息和行为附加的属性信息几乎无能为力。

　　那么这个功能正是我需要的吗？这其实是个度的问题。关于这个问题，只能结合你的实际情况了。如果你需要随机探索过去点击行为的趋势，那么这个功能还是合适的，否则有更好的选择。

　　▌Visualized embedding：一种所见即所得的嵌入方法

　　代码埋点和全埋点没有在易用性和准确性之间取得平衡。可视化埋点在很多情况下也称为“未编码埋点”。正如前面提到的，代码嵌入的缺点对网站来说是好事，但对于移动应用来说无疑是极其低效的。为了解决这个问题，在一些厂家选择全埋点的同时，大量厂家也选择了WYSIWYG的埋点路，即可视化的埋点。

　　可视化埋点的优点是可以直接在网站或手机应用的真实界面上操作埋点，埋点后可以立即验证埋点是否正确。这还没有结束，埋点部署到所有客户端几乎是实时有效的。由于可视化埋点的好处，分析的需求方、业务人员、没有权限接触代码或不会编程的人，可以以很低的门槛获取数据进行分析。可以说是向前迈进了一大步。

　　可视化埋点部署原理

　　支持可视化埋点的SDK会在被监控的网站或手机应用访问时向服务器检查是否有新的埋点。如果发现更新的埋点，将从服务器下载并立即生效。这样就可以保证服务器收到最新的埋点后，下次访问时可以部署所有客户端。

　　可视化埋点和全埋点对于埋点和分析的追求完全不同。可视化埋点的思路是为了提高原有工作流程的效率——还需要梳理需求，设计埋点；全埋点就是简化工作流程——反正数据会被采集，这两个步骤的必要性很容易被忽略。这里不能说哪个是最好的策略，因为事先的严谨计划和事后的探索是不同的分析角度。而且，这两种埋点根本不排斥，可以同时使用。

　　可视化埋点也有很多局限性。

　　首先，视觉埋点只是针对可见元素的点击，最常见的可见元素就是点击行为。点击操作的埋点确实是当前可视化埋点的主要攻击点。但从实际情况来看，复杂页面、非标准页面、动态页面都增加了视觉埋点不可用的风险。一旦遇到，代码只能埋点。

　　其次，对于点击操作附带的业务属性，虽然也可以通过进一步选择属性所在的元素来获取属性信息，但国内厂商支持的比较少。

　　第三，为了保证埋点的准确性，视觉埋点逐渐集成了更复杂的高级设置，比如：“同页”、“同版本”、“同级别”、“同文本”……，加上这些复杂设置的视觉埋点是否也是效率的视觉埋点？

　　▌标签管理器：低调大师

　　您可能不熟悉标签，但您熟悉用于采集

网页数据的 SDK。这些嵌入在网页中，可以从网页、移动应用程序或视频中采集

数据，这些数据是监控标签。但标签的用途远不止于此。通过在网站中嵌入代码，工程师可以为网站提供很多额外的功能。除了刚才提到的数据监控之外，它还可能为网站提供一些额外的功能。最常见的就是推送个性化的内容，比如：A/B测试、消息推送、个性化广告等等。

　　如果一个网站或移动应用程序在标签的帮助下实现了很*敏*感*词*，那么就需要大量的标签，并且可能还需要经常更新或更改标签。网页也是如此。上网很容易，但移动应用就难了。如果有错误或遗漏，更正将有一个很长的修正周期。在这种情况下，标签管理器就派上用场了。

　　标签管理器提供了一个容器。工程师只需将该容器正确嵌入到网页或移动应用程序中即可。之后，不懂技术的团队可以通过在线管理将后续标签发布到网页或移动应用程序中。这样，技术人员和业务人员独立工作。听起来是不是和视觉埋点很相似？是的，它们的原理几乎完全相同。只是视觉埋点更倾向于为用户在客户端的点击行为提供直观的方法，而标签管理器在代码层面，可以做的更多。

　　标签管理器非常强大，可以避免代码嵌入，可以通过DataLayer获取页面中的变量，如不同的用户ID、用户级别、登录状态、购买产品的名称和价格等；只有当这些变量达到一定水平时，触发器才能触发事件上报。是不是很赞！

　　目前最著名的标签管理器是谷歌推出的Google Tag manager，简称GTM，占据了83%的市场份额。*敏*感*词*是免费的，但还是提供了极其强大的功能，一般团队使用已经足够了。如果想进一步了解GTM的功能，可以阅读它的官网，里面有非常丰富的讲解和案例。

　　

　　综上所述，目前在客户端获取用户数据还没有简单通用的方案。您应该在合适的场景中选择相应的嵌入方法来平衡成本和收益。好在现在厂商基本都支持以上多种客户端行为采集方式。未来，对于客户端埋点，集成标签管理器某些特性的可视化埋点必将取代更多的代码埋点，解决工作中所有常见的客户端行为采集需求。

　　就像早期论坛的编辑框一样，帖子的效果只能通过发布或预览功能才能看到，但是后来出现了所见即所得的编辑器，让编辑文字变得非常高效和愉快。目前开源社区中流行的 Markdown 格式仍然采用这种方式。在许多流行的 Markdown 编辑器中，它仍然是在一侧编辑，在另一侧预览，或者直接以最终格式进行编辑。

　　随着物联网时代的到来，越来越多的用户界面会出现在电脑和手机之外，越来越多的内容会因人而异。届时，未来越来越多的SDK集成，会自动采集

更多标准的用户行为，对于需要计算的、或需要在特定条件下生效的非标准、强业务意义，可以交给可视化埋点完成。但现阶段，恐怕最好的组合还是GTM结合visual embedding。

　　

　　▌方舟可视化的发展方向

　　方舟可视化目前正在稳步发展中，已经能够支持界面间交互相关的埋点，但非界面交互相关的场景目前还做不到。这也是未来方舟可视化研究的一个重要方向；除了支持更多交互场景，更多适配多设备和系统，更全面的事件和属性覆盖，不断丰富SDK采集的数据，满足更多的业务场景，方舟可视化将在这些领域继续发力.

　　为推动行业发展，方舟视觉于近日正式宣布开源，以社区的形式推动可视化SDK的不断演进，并通过开放接口协同创新，方舟愿与社区共同努力在快速闭环实践中发展并真正实现企业的精益成长。并且通过埋点可视化技术，降低数据门槛，真正实现数据价值的普及，让数据真正实现普及化、普化。

　　开源地址：

　　1.Java 脚本开源 SDK

　　2.ios开源SDK

　　网页链接

　　3.Android 的开源 SDK

　　网页链接