我要点外卖如何将数据采集产生日志数据集中收集起来

　　我要点外卖如何将数据采集产生日志数据集中收集起来

　　背景

　　“我要订购食物”是一个基于平台的电子商务网站，涉及用户，餐厅，送货人员等。用户可以在Web，App，微信，支付宝等网站上下订单。收到订单后，它将开始处理并自动通知其周围的快递人员。快递员将食物交付给用户。

　　操作要求

　　在操作过程中，发现以下问题：

　　数据采集困难

　　在数据操作过程中，第一步是如何集中采集分散的日志数据，这将面临以下挑战：

　　我们需要采集分散在内部和内部的日志，并以统一的方式进行管理。过去，该区域需要进行许多不同类型的工作，现在可以通过loghub 采集函数对其进行访问。

　　统一日志管理，配置创建管理日志项，例如myorder。为不同数据源生成的日志创建日志库。例如，如果需要清除和ETL原创数据，则可以创建一些中间结果日志存储。用户提升日志采集

　　为了获取新用户，通常有两种方法：

　　实施方法

　　定义以*敏*感*词*册服务器地址，并生成QR码（传单，网页）供用户注册和扫描。当用户扫描页面进行注册时，他可以知道用户是通过特定来源输入并记录日志的。

　　http://examplewebsite/login?source=10012&ref=kd4b

　　服务器接受请求后，服务器将输出以下日志：

　　2016-06-20 19:00:00 e41234ab342ef034,102345,5k4d,467890

　　其中：

　　采集方法：

　　服务器数据采集

　　支付宝/微信公众号编程是一种典型的Web端模式，通常有三种日志类型：

　　实施方法：终端用户登录访问Web / M站页面的用户行为

　　页面用户行为集合可以分为两类：

　　实施方法服务器日志的操作和维护

　　例如：

　　实施方法

　　请参阅服务器采集方法。

　　不同网络环境下的数据采集

　　loghub在每个Region中提供访问点，每个Region提供三种访问方式：