总结:干货 | 数据埋点采集，看这一篇文章就够了！

　　总结:干货 | 数据埋点采集，看这一篇文章就够了！

　　数据仓库蓝图：

　　本文目录：

　　一、数据采集及常见问题二、埋点是什么与方式三、埋点的框架与设计四、指标体系与可视化

　　1.数据采集及常见数据问题

　　1.1 数据采集

　　数据采集的方式有很多种，埋点采集是其中非常重要的一环。它是c端和b端产品的主要采集方式。Data采集，顾名思义，就是采集对应的数据，是整个数据流的起点。采集的不完整性，对与错，直接决定了数据的广度和质量，影响到后续的所有环节。在数据采集有效性和完整性较差的公司中，企业经常会发现数据发生了重大变化。

　　数据的处理通常包括以下5个步骤：

　　1.2 常见数据问题

　　在大致了解了data采集及其结构之后，我们再来看看工作中遇到的问题，有多少与data采集链接有关：

　　1、数据与背景差距较大，数据不准确——统计口径不同，埋点定义不同，采集方法带来误差

　　2. 想用的时候没有我要的数据——没提数据采集要求，埋点不正确，不完整

　　3.事件太多，意思不明确——埋点设计的方式，埋点更新迭代的规则和维护

　　4、分析数据时不知道要看哪些数据和指标——数据的定义不明确，缺乏分析思路

　　我们需要根本原因：将采集视为独立的研发业务，而不是产品开发的附属品。

　　二、什么是葬礼

　　2.1 什么是墓地

　　所谓埋点，是data采集领域的一个名词。它的学名应该叫event tracking，对应的英文是Event Tracking，是指捕获、处理和发送特定用户行为或事件的相关技术和实现过程。数据埋点是数据分析师、数据产品经理和数据运营商，他们根据业务需求或产品需求，针对用户行为对应的每个事件开发埋点，通过SDK上报埋点数据结果，记录汇总数据。分析、推动产品优化和指导运营。

　　该过程伴随着规范。根据定义，我们看到具体的用户行为和事件是我们采集关注的焦点，需要处理和发送相关的技术和实现流程；，所以和产品息息相关，重点在于具体的实战过程，这关系到大家对底层数据的理解。

　　2.2 为什么我们需要埋点？

　　埋点的目的是对产品进行全方位的持续跟踪，通过数据分析不断引导和优化产品。数据埋点的质量直接影响数据质量、产品质量和运营质量。

　　1、数据驱动——Embedding将分析深度下钻到流量分布和流量层面，通过统计分析，对宏观指标进行深度分析，发现指标背后的问题，洞察用户之间的潜在关系行为和价值提升

　　2、产品优化——对于产品，用户在产品中做了什么，在产品中停留了多长时间，有哪些异常需要注意。这些问题可以通过埋点来实现

　　3、精细化运营——嵌入可以实现整个产品生命周期、流量质量和不同来源的分布、人群的行为特征和关系，洞察用户行为与商业价值提升之间的潜在关系。

　　2.3 埋点方式

　　埋点方法有哪些？大多数公司目前使用客户端和服务器的组合。

　　

　　准确度：代码掩埋 > 视觉掩埋 > 完全掩埋

　　3、埋点框架及设计

　　3.1 埋点顶层设计采集

　　所谓顶层设计，就是想清楚怎么埋点，用什么方式埋点，上传机制是什么，怎么定义，怎么实现等等；我们遵循唯一性、可扩展性、一致性等，需要设计一些常用的字段和生成机制，比如：cid、idfa、idfv等。

　　用户识别：用户识别机制的混乱会导致两个结果：一是数据不准确，比如UV数据不匹配；二是漏斗分析过程出现异常。因此，应该这样做：严格规范ID自身的识别机制；湾。跨平台用户识别

　　同构抽象：同构抽象包括事件抽象和属性抽象。事件抽象是浏览事件和点击事件的聚合；属性抽象，即结合大部分复用场景，增加源差异化

　　采集一致：采集一致包括两点：一是跨平台页面命名一致，二是按钮命名一致；制作嵌入点的过程本身就是对底层数据进行标准化的过程，所以一致性尤为重要，只有这样才能真正使用

　　渠道配置：渠道主要指推广渠道、落地页、网页推广页、APP推广页等，这个落地页的配置必须有统一的规范和标准

　　3.2 埋点采集事件与属性设计

　　在设计属性和事件时，我们需要知道哪些是经常变化的，哪些是不变化的，哪些是业务行为，哪些是基本属性。基于基本的属性事件，我们认为属性一定是采集项，但是属性中的事件属性会根据不同的业务进行调整。因此，我们可以将埋点采集分为协议层和业务层Bury。

　　业务分解：梳理确认业务流程、操作路径和不同的细分场景，定义用户行为路径

　　分析指标：定义特定事件和核心业务指标所需的数据

　　事件设计：APP启动、退出、页面浏览、事件曝光点击

　　属性设计：用户属性、事件属性、对象属性、环境属性

　　3.3 数据采集事件和属性设计

　　Ev 事件的命名也遵循一些规则。当相同类型的函数出现在不同的页面或位置时，根据函数名进行命名，并在ev参数中区分页面和位置。只有当按钮被点击时，它才会以按钮名称命名。

　　ev事件格式：ev分为ev标志和ev参数

　　规则：

　　在 ev 标识符和 ev 参数之间使用“#”（一级连接符）

　　在 ev 参数和 ev 参数之间使用“/”（辅助连接器）

　　ev参数使用key=value的结构。当一个key对应多个value值时，value1和value2之间用“,”连接（三级连接符）

　　当埋点只有ev标志而没有ev参数时，不需要#。

　　评论：

　　ev identifier：作为埋点的唯一标识符，用来区分埋点的位置和属性。它是不可变的和不可修改的。

　　ev参数：埋点需要返回的参数，ev参数的顺序是可变的，可以修改）

　　调整app埋点时，ev logo不变，只修改以下埋点参数（参数值改变或参数类型增加）

　　

　　一般埋点文档中收录的工作表名称和功能：

　　A. 暴露埋点汇总；

　　B、点击浏览埋点汇总；

　　C、故障埋点汇总：一般会记录埋点的故障版本或时间；

　　D、PC和M侧页面埋点对应的pageid；

　　E、各版本上线时间记录；

　　在埋点文档中，都收录了列名和函数：

　　3.4 基于埋点的数据统计

　　如何使用埋点统计找到埋藏的 ev 事件：

　　1.指定埋点类型（点击/曝光/浏览）——过滤类型字段

　　2.指定按钮埋点所属的页面（页面或功能）——过滤功能模块字段

　　3.指定埋点事件的名称——过滤名称字段

　　4.知道了ev标志，可以直接用ev过滤

　　如何根据ev事件进行查询统计：当点击查询按钮进行统计时，可以直接使用ev标志进行查询。因为ev参数的顺序不要求是可变的，所以查询统计信息时不能限制参数的顺序。

　　4.应用数据处理的基础

　　4.1 指标体系

　　系统化的指标可以整合不同的指标、不同的维度进行综合分析，可以更快的发现当前产品和业务流程中存在的问题。

　　4.2 可视化

　　人类解释图像信息比文本更有效。可视化对于数据分析非常重要。使用数据可视化可以揭示数据中固有的复杂关系。

　　4.3 提供埋点元信息API

　　data采集服务会将采集收到的埋点写入Kafka。针对各个业务的实时数据消费需求，我们为各个业务提供单独的Kafka，流量分发模块会定时读取。取埋点管理平台提供的元信息，将流量实时分发到各个业务的Kafka。

　　Data采集 就像设计产品一样，不能过头。不仅要留有扩展的空间，还要时刻考虑有没有数据，是否完整，是否稳定，是否快。

　　干货教程:图片采集-图片采集工具-免费图片采集工具

　　图片采集工具今天给大家分享一张免费图片采集该工具可以采集网站各种图片，大家可以采集到各种图片一个高清图像源。支持采集任意格式的图片，只需导入批量采集图片的链接即可。

　　采集还有更多方法：输入关键词所有图片采集/any网站所有图片采集！不仅可以采集大量图片，还可以批量压缩/放大/给图片加水印等/详细如图

　　这个免费的图像采集工具具有以下特点：

　　1.支持不同网页图片采集/支持导入URL文件采集图片/关键词图片批量下载

　　2.支持自定义图片存储目录或上传到网站，根据URL特性自动为图片创建分类目录

　　3.支持一键重新下载失败图片采集

　　4.支持下载镜像去重

　　5.支持在爬取过程中查看下载的图片

　　6.批量图片水印压缩等处理

　　图片大小

　　

　　很多人在发布公司网站的产品图片时喜欢用代码限制图片的大小，而不是用PS剪图上传。众所周知，图片剪切后，上传会比较小，加载会比较小。上面会快很多，而且通过limited的方式，虽然浏览器会加载limited size的，但是还是加载的是原图，所以如果上传的是1M的，还是会加载1M的图片。

　　一般情况下，企业网站的内容页面会有很多详细的图片。比如1张300K，5张细节图，1M多。一个网页总共只有10-20K。要加载1M，如果客户的网速慢，那么1M的图片基本上是加载不出来的。

　　延迟加载

　　延迟加载技术只用于大的网站，但需要将此技术应用到多图页面。当浏览器加载某一部分时，加载某一部分的图片，暂停其他图片的加载。，客户端似乎不需要等待图像加载。我曾经分享过这种技术，瀑布图像延迟加载技术，可以应用于任何网站。只需一段JS代码，操作简单。

　　WEB格式图片

　　PS图片时，建议选择WEB格式保存图片，这样图片文件小，但不影响图片质量。当然，如果有特殊需要，建议下载，或者点击新窗口打开。图片。一般情况下，1M的图片以WEB格式保存后大小不会超过50KB。

　　横幅图像大小

　　做图片优化首先要考虑的是图片的比例： 1）首页banner图片一般为1900像素或1200像素宽，高度在450-600之间；2）栏目页面显示图片的比例一般为4：1或1：1；3）详情页推荐图片比例为4：3，图片宽度一般不超过900像素，常见尺寸为600*400/650*450。

　　图片大小

　　

　　图片的大小与能否正常显示以及打开网站页面的速度有关。图片越大，加载速度越慢，会影响图片的搜索引擎的收录。图片的内存太大了。图片可以在上传前进行压缩。一般网站图片不建议超过500KB。

　　图像相关性

　　上传的图片必须与网站的内容相关。如果你的内容是“手机”，而你上传的图片中收录“衣服”，那么即使图片被搜索引擎收录搜索到，也不会显示。现在搜索引擎识别图片的能力越来越强，可以准确识别图片和照片的内容，所以图片的相关性非常重要。可以显示完全匹配的图像。

　　图片数据

　　上传图片的时候，有很多信息可以一一完善，比如：标题、描述、描述等。很多站长认为把图片上传到网站之后就万事大吉了。其实这是我们做图片优化时的一大忌讳。，所以完成每一个上传的图片数据，删除无意义的字母、数字或者不相关的数据，填写内容相关的关键词，描述，用文章增加相关性，告诉搜索引擎这是什么图片，从而提高搜索引擎的排名。

　　图像 Alt/Title 属性

　　这两个属性对于图像 SEO 非常重要。前一个 Alt 属性告诉搜索引擎图像的内容。大家一般在上传或者填充图片的时候都会改进这个属性，但是Title属性却很少被站长注意到。事实上，Title 属性与 Alt 属性一样重要。我们都知道百度现在非常重视用户体验，而title属性就是鼠标悬停在图片上时显示的标题。这是博主所理解的。Alt 属性是为了改进搜索引擎。用户体验，Title属性是提升用户的用户体验，所以两者都很重要。

　　原创图片

　　在做图片优化的时候，千万不要参考其他网站的图片。这是SEO中的禁忌。许多站长为了节省时间，直接从其他网站复制图片上传。所有属性，包括图片地址和URL信息，让带有其他站点信息的图片都在自己的站点上，这是什么意思？如果被搜索引擎搜索到，说明你为别人的网站做了图片。非常外部链接。如果用户通过百度搜索图片，点击图片的原创链接会跳转到原创页面。返回搜狐，查看更多