解决方案:使用LogHub进行日志实时采集
优采云 发布时间: 2020-09-01 14:32使用LogHub实时记录采集
背景
“我要订购外卖”是基于平台的电子商务网站,用户,餐厅,送货人员等. 用户可以在网页,应用程序,微信,支付宝等上下订单;商家收到订单后开始处理,并自动通知周边快递;快递员将食物交付给用户.
操作要求
在操作过程中,发现了以下问题:
很难获得用户. 向渠道(网页,微信推送)投入大量*敏*感*词*,接收一些用户,但无法判断每个渠道的有效性,用户常常抱怨交付缓慢,但是在哪个环节,订单的接收,分配,处理?如何优化?用户操作通常会参与一些优惠活动(发送优惠券),但无法获得效果. 计划问题,如何帮助商家在高峰时段提前库存?如何派遣更多快递员到指定地区?客户服务中,用户反馈说订单失败,用户背后的操作是什么?系统中有错误吗?数据采集难点
在数据操作过程中,第一步是如何集中采集分散的日志数据,这将面临以下挑战:
我们需要采集分散的外部和内部日志以进行统一管理. 过去,这部分工作需要很多工作,但现在可以通过LogHub 采集函数进行访问.
日志统一管理和配置创建管理日志项目项目,例如myorder
创建日志存储库Logstore,以从不同的数据源生成日志,例如:
如果需要清除原创数据和ETL,则可以创建一些中间结果日志存储区
(有关更多操作,请参阅快速启动/管理控制台)
用户提升日志采集
为了获取新用户,通常有两种方法:
网站注册时有直接优惠券
扫描其他渠道的QR码并放置优惠券
方法
定义以*敏*感*词*册服务器地址,并生成QR码(传单,网页)供用户注册和扫描. 当用户扫描此页面进行注册时,他知道该用户是通过特定来源输入并记录日志的.
http://examplewebsite/login?source=10012&ref=kd4b
服务器接受请求后,服务器将输出以下日志:
2016-06-20 19:00:00 e41234ab342ef034,102345,5k4d,467890
采集方法:
应用程序将日志输出到硬盘,然后通过Logtail 采集应用程序通过SDK写入日志,请参见SDK服务器数据采集
支付宝/微信公众号编程是一种典型的Web端模式,通常有三种日志类型:
将练习日志写入本地文件,并通过Logtail配置正则表达式写入指定的Logstore. 日志可以在Docker中生成. 容器服务可用于集成日志服务. 可以使用Java程序Log4J Appender. 写); Log4J Appender C#,Python,Java,PHP,C等可以使用SDK写入Windows服务器. 您可以使用Logstash 采集终端用户日志访问Web / M网站页面的用户行为
页面用户行为集合可以分为两类:
页面与后台服务器之间的交互: 例如下订单,登录和注销. 该页面没有后台服务器交互: 该请求直接在前端处理,例如滚动,关闭页面等. 方法第一种方法可以引用服务器采集方法. 第二种方法可以使用Tracking Pixel / JS库采集页面行为,请参考Tracking Web界面服务器日志的操作和维护
例如:
不同网络环境下的方法数据采集
LogHub在每个区域提供访问点,每个区域提供三个访问点:
有关更多信息,请参阅网络访问,始终有一种适合您.
其他,请参阅LogHub完整采集方法. 查看日志实时消耗,涉及流计算,数据清理,数据仓库和索引查询等功能.