不少公司自建运营分析系统的产品架构设计及技术方案选型

　　不少公司自建运营分析系统的产品架构设计及技术方案选型

　　本文以公司自建运营分析系统为讨论对象，对系统的产品架构设计和技术方案选择的要点进行分析说明。

　　目前市场上的流量分析产品已经非常规范了，比如GrowingIO、诸葛IO、神测数据等，一般的用户分析、转化分析、留存分析等功能已经很完善了，但是在公司实际 在应用过程中，运营商总会有市场上一般功能无法满足的各种个性化需求。也正是因为这个原因，很多企业会建立自己的运营分析系统。本文将详细介绍我之前工作过的公司运营分析系统的产品架构设计和技术方案选择。希望能给大家一些参考。

　　一、现状及问题1.1 埋点方案改造

　　我们公司做了一个早葬计划。最早只采用码葬。 PC/M和APP埋点的上报方式不同：APP采用appsflyer实现的【事件级】上报机制，PC/M端基于页面【元素级】上报机制。

　　两者有什么区别？

　　简单来说，事件具有业务意义。例如，【首页广告位点击事件】是指用户在网站homepage上点击“XX广告位”图片的行为，使得上报的数据可以直接指导分析；

　　页面元素的上报是冷元素采集，也是广告点击。页面元素上报会通过在广告栏内嵌入代码来上报每张广告图片的点击、曝光等行为。在分析【首页广告位点击事件】中，分析师需要找到首页-广告位-广告图片，并获取点击行为数据进行分析。

　　也就是说[事件级]是组装的业务数据，[元素级]是未组装的数据，[元素级]非常灵活，但是在数据应用效率、存储成本、业务接受度方面，[事件级] ] 应该会更好。

　　目前，GrowingIO、神策数据等厂商均采用[事件级]掩埋方案作为分析系统的基础。构建运营分析系统，第一步是改造掩埋方案。

　　1.2 产品架构规划

　　因为运营部门之前已经购买了GrowingIO，所以提到IT的需求是分散的、个性化的需求，简单来说就是个性化的报表，主要特点是：复杂的业务逻辑+长的开发周期，特殊的业务体验区别。

　　由于都是零散的个性化需求，又缺乏对【逻辑层】的规划，报表直接从【数据层】开发到【应用层】。

　　系统产品架构方案如下图所示：

　　因此，我们认为运营分析系统的功能构建有两个关键点：

　　逻辑层：事件管理应与业务数据解耦，支持多租户（满足不同站点或业务模块中事件的逻辑隔离）应用层：事件分析是GrowingIO的一个功能，使用率为80%以上，是用户分组和其他分析功能的基础二、Construction plan and plan2.1 埋点方案的选择

　　目前常用的掩埋方案有代码掩埋、视觉掩埋和全掩埋（也称为无掩埋）三种。

　　三者的区别已经在很多文章中解释过了，这里以超市为例。

　　如果网站是大型超市，用户数据的获取方式有以下三种：

　　第一种是在需要监控的店铺和货柜中放置*敏*感*词*，可以全面监控用户在店铺停留的时间，浏览哪些品类，尝试哪些产品，以及其他详细的用户行为；

　　第二种是在超市的各个主干道和走廊预留*敏*感*词*监控位置。当你需要监控某个特定的主干道或走廊时，你可以打开*敏*感*词*开关来记录用户在超市的行为，虽然无法记录用户在店内的情况，但你可以看到你买了什么以及你买了什么，但你可以知道用户购物的方向，他们进入了哪些商店，每个商店的人流量等；

　　第三种是预留*敏*感*词*监控位置，但每个*敏*感*词*都开启，常年监控各条主干道和走廊的人流；

　　以上三种分别对应代码嵌入点、可视化嵌入点和全嵌入点。

　　如果超市是网站，那么超市里的店铺就是实际​​的商业交易。

　　三种埋法的优缺点总结如下：

　　根据上面的例子，可以想象最高效合理的方案应该是“代码埋点”+“全埋点”/“视觉埋点”，以及网站整体流量分析，然后重点关于通过代码埋点分析单个页面的业务细节。

　　在对数据量、成本等因素进行评估后，我们选择在现有代码埋点的基础上开发一套全埋点，以支持运营（如Events等）高频非固化的埋点需求、社区等页面）。

　　2.2 技术方案选择

　　技术选型的内容比较详细，比较繁琐，这里就简单介绍一下。

　　在项目开始时，我们讨论了两套事件分析程序。一种是基于全量基础数据的内存计算（选择presto）。这种方案简单粗暴，瓶颈在于服务器内存。同时，一旦数据量过大，并发过多会导致前端用户体验不佳；

　　另一个是基于kylin的预计算。优点是在查询维数固定后，基于构建的数据立方体的查询效率非常快。缺点是存储了大量冗余数据，不支持维度过多的场景。

　　基于GrowingIO的使用情况调查，我们相信用户不会有太多的分析维度，最终选择更稳定的kylin预计算方案。整体技术架构如下：

　　结论

　　代码埋点、全埋点、数据分析方案等细节很多，可以分享。由于篇幅原因，这次就大体介绍一下。下次有机会再展开详细的分享给大家。 ，希望大家能指正文章内容中的问题和错误，对阅读到这里的各位表示衷心的感谢。

　　本文由@LinKiD 原创发表在人人网是产品经理。未经许可禁止转载

　　标题图片来自Unsplash，基于CC0协议

　　奖励作者，鼓励他努力！

　　欣赏