云优cms文章采集(我要点外卖数据采集难点及实施方法日志运维)

　　云优cms文章采集(我要点外卖数据采集难点及实施方法日志运维)

　　背景

　　“我要点*敏*感*词*的快递员。快递员将食物交付给用户。

　　操作要求

　　在操作过程中，发现以下问题：

　　Data采集难点

　　在数据操作过程中，第一步是如何集中采集分散的日志数据，会遇到以下挑战：

　　我们需要对分散在外部和内部的日志进行采集并统一管理。过去这个区域需要大量的工作和不同种类的工作，现在可以通过loghub采集功能访问。

　　统一日志管理，配置创建管理日志项，如myorder。为不同数据源产生的日志创建日志库，例如：如果需要对原创数据进行清洗和ETL，可以创建一些中间结果Logstore。用户推广日志采集

　　获取新用户，一般有两种方式：

　　实现方法

　　定义如*敏*感*词*册服务器地址，生成二维码（传单、网页）供用户注册和扫描。当用户扫描页面进行注册时，可以知道用户通过特定来源进入并记录日志。

　　http://examplewebsite/login?source=10012&ref=kd4b

　　当服务器接受请求时，服务器输出如下日志：

　　2016-06-20 19:00:00 e41234ab342ef034,102345,5k4d,467890

　　其中：

　　采集方式：

　　服务器数据采集

　　支付宝/微信公众号编程是典型的Web端模式，日志一般分为三种：

　　实现方法：终端用户登录访问Web/M站页面用户行为

　　页面用户行为集合可以分为两类：

　　服务器日志运维实现方法

　　例如：

　　实现方法

　　参考服务器采集方法。

　　不同网络环境下的数据采集

　　loghub在每个Region提供接入点，每个Region提供三种接入方式：