使用LogHub进行日志实时采集-阿里云开发者社区

　　背景

　　“我要点订餐“是一个平台型电商网站，用户、餐厅、配送员等。用户可以在网页、App、微信、支付宝等进行下单点菜；商家领到订单后开始加工，并手动通知周围的快递员；快递员将订餐送到用户手中。

　　运营需求

　　在营运的过程中，发现了如下的问题：

　　获取用户难，投放一笔不小的*敏*感*词*对到渠道（网页、微信推送），收货了一些用户，但难以衡量各渠道的疗效用户时常埋怨送货慢，但慢在哪些环节，接单、配送、加工？如何优化？用户营运，经常搞一些让利活动（发送优惠券），但未能获得疗效调度问题，如何帮助店家在高峰时提早备货？如何调度更多的快递员到指定区域？客服服务，用户反馈下单失败，用户背后的操作是哪些？系统是否有错误？数据采集难点

　　在数据化营运的过程中，第一步是怎样将洒落日志数据集中搜集上去，其中会碰到如下挑战：

　　我们须要把飘散在外部、内部日志搜集上去，统一进行管理。在过去这块须要大量几种工作，现在可以通过LogHub采集功能完成统一接入。

　　日志统一管理、配置创建管理日志项目Project，例如叫myorder

　　为不同数据源形成日志创建日志库Logstore，例如：

　　如须要对原创数据进行清洗与ETL，可以创建一些中间结果logstore

　　（更多操作可以参见快速开始/管理控制台）

　　用户推广日志采集

　　为获取新用户，一般有2种形式：

　　网站注册时直接投放优惠券

　　其他渠道扫描二维码，投放优惠券

　　做法

　　定义如*敏*感*词*册服务器地址，生成二维码（传单、网页）供用户注册扫描。用户扫描该页面注册时，就晓得用户通过特定来源步入，并记录日志。

　　http://examplewebsite/login?source=10012&ref=kd4b

　　当服务端接受恳求时，服务器输出如下日志：

　　2016-06-20 19:00:00 e41234ab342ef034,102345,5k4d,467890

　　采集方法：

　　应用程序输出日志到硬碟，通过Logtail采集应用程序通过SDK写入，参见SDK服务端数据采集

　　支付宝/微信公众帐号编程是典型的Web端模式，一般会有三种类型日志：

　　做法日志讲到本地文件，通过Logtail配置正则表达式讲到指定LogstoreDocker中形成日志可以使用容器服务集成日志服务Java程序可以使用Log4J Appender日志不落盘, LogHub Producer Library（客户端高并发写入）；Log4J AppenderC#、Python、Java、PHP、C等可以使用SDK写入Windows服务器可以使用Logstash采集终端用户日志接入Web/M 站页面用户行为

　　页面用户行为搜集可以分为两类：

　　页面与后台服务器交互：例如下单，登陆、退出等。页面无后台服务器交互：请求直接在后端处理，例如滚屏，关闭页面等。做法第一种可以参考服务端采集方法第二种可以使用Tracking Pixel/JS Library搜集页面行为，参考Tracking Web插口服务器日志运维

　　例如：

　　做法不同网路环境下数据采集

　　LogHub在各Region提供 访问点，每个Region提供三种形式接入点：

　　更多请参见网路接入，总有一款适宜你。

　　其他参见LogHub完整采集方式。参见日志实时消费，涉及流计算、数据清洗、数据库房和索引查询等功能。