网站程序自带的采集器采集文章( 如何进行网站分析流量分析内容导航分析转化分析（模型分析） )

　　网站程序自带的采集器采集文章(

如何进行网站分析流量分析内容导航分析转化分析（模型分析）

)

　　网站流量日志分析（Flume 采集 of data采集）

　　时间：2020-08-10

　　本文章将介绍网站流量日志分析（Flume 采集 of data采集），主要包括网站流量日志分析（data采集 Flume 采集) 使用实例、应用技巧、基础知识点总结和注意事项，有一定的参考价值，需要的朋友可以参考。

　　内容

　　网站流量日志分析的意义

　　通过分析用户行为数据，更多的用户可以成为会员，赚更多的钱。

　　如何网站分析流量分析

　　- 质量分析 在看重数量的同时 需要关注流量的质量 所谓的质量指的是流量所能带来产生的价值。

- 多维度细分 维度指的是分析的问题的角度 在不同的维度下 问题所展示的特性是不一样的

　　内容导航分析

　　从页面的角度分析 用户的访问行为轨迹

　　转化分析（漏斗模型分析）

　　从转化目标分析 分析所谓的流失率转化率 漏斗模型：层层递减 逐级流失的形象描述

　　网站流量日志分析数据处理流程

　　根据数据的流向，一个概括的概括就是数据从哪里来，到数据去哪里。

　　数据采集

　　- 数据从无到有的过程：通过技术把客观事件量化成为数据（传感器收集 服务器日志收集）

- 数据搬运过程：把数据从一个存储介质传递到另一个存储介质中（Apache Flume）

　　数据预处理

　　- 目的：保证后续正式处理的数据是格式统一、干净规则的结构化数据

- 技术：任何语言软件只要能够接受数据处理数据并且最终输出数据 都可以用于数据预处理

**选择MapReduce**

- MR本身是java程序，语言比较熟悉 可以无缝的调用java现有的开源库进行数据处理

- MR是分布式的程序 在预处理中 如果数据量比较大 可以分布式并行计算处理 提高效率

　　数据存储

　　- 库：面向分析的数据仓库，也是就会Apache Hive

- 入库的本质：经过ETL(抽取、转换、加载)把各个不同的数据源集中加载到数仓的分析主题下面。

　　数据分析

　　- 本质：根据业务需求 使用hive sql计算统计出各种不同的指标 分析是一个持续的过程

　　数据可视化

　　尽量的使用图形表格的形式 把分析的结果规律展示给别人看 也称之为数据报表

　　埋点数据采集

　　数据是从零开始创建的采集如何记录用户的访问行为并变成网站访问日志

　　数据采集 方式及其优缺点

　　### 网站日志文件

　　网站的web服务器自带日志功能，简单方便的采集一些基础属性信息

　　通用网络服务器（Tomcat nginx apache server(httpd)）

　　 优点：简单便捷 自带功能 不需要配置就可以使用

缺点：收集的信息确定 不利于维护 收集的信息不够完整全面

### 埋点JavaScript收集

- 目标：不以影响用户的正常浏览体验作为标准 数据采集分析锦上添花

- 何为埋点

```

在待采集数据的页面上，预先置入一段JavaScript代码，当用户的某种行为满足JavaScript执行条件，触发JavaScript的执行，在执行的过程中进行数据的采集工作。

```

- 标准的URL

```

协议：//主机：端口/资源路径？k1=v1&k2=v2

```

- 好处:可以根据业务需求 定制化收集的属性信息 在不影响用户浏览体验的情况下 进行更多数据的收集

　　埋js代码实现自定义采集用户数据

　　（除了追求跑通，还要考虑性能和后期维护）

　　问题：js和html页面耦合不利于后续js维护

　　```

把js单独提取处理变成一个文件 然后通过src属性引入页面 进行所谓解耦合

```

　　问题：一台服务器有多个作业，压力太大，无法降低服务器请求压力

　　```

单独的去部署服务器 专门用于采集数据的请求响应

可能会产生跨域问题（限制js跨域的数据发送）

**以请求图片的形式 把采集的数据拼接成为图片的参数 发送到指定的服务器上去 绕开js的跨域问题**

(图片的请求没有域的限制，js的请求会有。跨域问题：不能从一台服务器上的js发送至另一台。主机，协议，端口任何一个不一样，就是不同域。跨域的本质是为了限制js的请求不安全，是针对js的限制。在页面收集领域，通常采用 以请求图片的形式绕开所谓的跨域问题)

为了降低请求的图片对页面的视觉干扰，将图片定义为1*1像素。

```

　　确定采集的信息

　　采集哪些领域的信息和采集方法通常在采集数据前结合业务需求分析的需要来确定

　　埋没的代码编写

　　本来埋代码的逻辑是真实数据采集的逻辑，但是为了后续维护方便，将实际采集数据的js提取成一个js文件。在这种情况下，代码的埋点就变成了如何把这个 js 文件导入到页面上。

　　直接通过src属性导入

　　```

```

　　js匿名函数自调用

　　创建匿名函数 自己调用自己 并且调用一次 通常用于页面初始化操作

```

(function() {

var ma = document.createElement('script'); ma.type = 'text/javascript'; ma.async = true;

ma.src = 'www.itcast.cn/collect.js';

var s = document.getElementsByTagName('script')[0]; s.parentNode.insertBefore(ma, s);

})();

```

　　前端数据采集js

　　仍然是匿名函数自调用格式，保证被引入到页面后，可以调用自身，执行一次。

　　后端脚本

　　所谓后端就是接受并解析前端发送的数据的服务器采集

　　注意nginx中location模块的具体职责：匹配请求url资源的路径。

　　日志格式

　　考虑日志中字段之间的分隔符，方便后续程序处理数据作为标准

　　公共分隔符制表符空格特殊符号\001

　　日志分段

　　默认情况下，nginx总是将日志写入一个文件access.log中，不利于后续维护和移动操作处理。

　　通过shell脚本向nginx进程发送usr1信号，通知它重新加载配置文件。重新加载配置文件时，会重新打开一个新的日志文件。配合 crontab 定时器，完成间接时间控制的文件滚动。

　　水槽数据采集

　　kafka 和 flume 都是日志系统。Kafka是一个分布式消息中间件，自带存储，提供push和pull数据访问功能。

　　Flume分为三个部分：agent（数据采集器）、collector（简单的数据处理和写入）、storage（存储），每个部分都可以自定义。比如代理使用RPC（Thrift-RPC）、文本（文件）等，存储指定为hdfs。

　　Flume 的每个部分都可以定制。Kafka比较适合做日志缓存，flume数据采集部分做的不错，可以定制很多数据源，减少开发量。

　　要求：使用flume采集数据到hdfs时，滚动由文件大小控制，大小为：128M

　　a1.sinks.k1.hdfs.rollInterval = 0

a1.sinks.k1.hdfs.rollSize = 134217728

a1.sinks.k1.hdfs.rollCount = 0

　　通过flume上传文件到hdfs时，不满足控制文件滚动的条件怎么办？

　　如果不满足，位于hdfs上的文件会一直处于临时状态xxx.tmp

　　a1.sinks.k1.hdfs.rollInterval = 0 时间间隔

a1.sinks.k1.hdfs.rollSize = 134217728 文件的大小

a1.sinks.k1.hdfs.rollCount = 0 event数量

　　解决方案：根据文件空闲时间滚动

　　hdfs.idleTimeout 默认值是0 如果配置指定的时间 比如30s

意味着如果30s之内 文件没有数据写入 即是其他的滚动条件不满足 此时已然进行文件的滚动

避免文件一致处于所谓的临时状态