文章采集完(简单的介绍了JAVA通过代码如何使用MDC进行日志打印)
优采云 发布时间: 2022-04-15 11:28文章采集完(简单的介绍了JAVA通过代码如何使用MDC进行日志打印)
我是目录kibana操作总结
审查
前两篇文章通过代码简单介绍了JAVA如何使用MDC打印日志,查看log4j MDC用户操作日志跟踪配置,以及ELK平台搭建,查看log4j MDC用户操作日志跟踪配置. 接下来结合实际案例,简单介绍一下生产服务器的日志是如何通过logstash进行采集统一聚合的,这样我们就可以快速、方便、高效的查询日志,并且可以轻松定位哪个日志是日志。服务器生成,不再需要一味地翻遍所有生产服务器,只为找到问题所在。
logstash 日志采集
因为我们打印各种日志,为了方便我们通过kibana进行检索,需要在logstash中配置相应的采集规则。如果你什么都不做,只是简单地采集,可能会出现一些意想不到的事情。错误。
日志采集按行采集。当您的日志换行时,换行的行被视为单独的行,因此日志 采集 非常可读。如果使用MDC,配置log4j日志格式输出,如果不符合规则,则整行采集到message字段。这个时候,基本不可能按照某个领域快速搜索。
基于以上可能出现的“错误”,我们需要针对当前项目的日志配置文件制定自己的采集规则。
其实logstash的配置文件很简单,基本上就是下面几个套路,日志源从哪里来(input输入插件),什么样的规则(filter过滤插件),日志输出在哪里finally(输出输出插件)
# 输入
input {
...
}
# 过滤器
filter {
...
}
# 输出
output {
...
}
因为我们这里介绍的是项目日志的采集,输入当然是来自file文件,配置如下:
input {
file {
type => "wechat-log"
path => ["/usr/local/tomcat/logs/wechat/*.log"]
codec => multiline{
pattern => "^\[%{TIMESTAMP_ISO8601}\]"
what => "previous"
negate => true
}
start_position => "beginning"
}
}
其中path是日志采集所在的地方,从日志文件采集的第一行开始,定义一个类型(通常是kibana结尾的索引)。
编*敏*感*词*插件
这里codec的存在可以解决我们前面提到的log wrapping等问题。在logstash读入时,日志通过codec编码解析成对应的格式,从logstash输出时,通过codec解码成对应的格式。当我们的应用打印出带有换行符的日志时,比如ERROR日志,一般都有错误堆栈信息,各种以at开头的行,我们可以通过多行处理,让logstash认为这一行属于上一行,而不是将其视为新行。
一般我们的tomcat日志都是以时间开头的,没有像at这样的堆栈信息的时间,所以我们可以配置正则表达式[^[%{TIMESTAMP_ISO8601}]],只有当日志以时间开头的一行才换行. 如果不是时间的开始,则属于前一个[what=>previous]或后一个[what=>next]。这里我们将其配置为属于上一个。
上面的配置解决了换行问题之后,接下来我们还需要按照字段来处理日志切分。
grok 插件
在grok中,可以通过正则表达式提取日志信息。正则表达式有两种,一种是内置正则表达式,另一种是自定义正则表达式。当内置的正则表达式不能满足我们的需求时,我们不得不使用自定义的正则表达式,但是内置的基本满足我们的需求。详情见grok介绍
假设我们的日志配置文件是这样配置的:
我们设置了商家、openid、queryType、orderId、wechatOrderId、input、source 7个字段,生产服务器打印的日志格式如下:
[2019-01-27 17:51:22.051] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 4200000283201901277968491434 - 352982093855677 - 1 - INFO com.apple.wechat.service.Worker:401 - 发送模板消息,查询结果为:me.chanjar.weixin.mp.bean.template.WxMpTemplateData@3813022d
[2019-01-27 17:51:22.230] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 42000002832019277968491434 - 352982093855677 - 1 - ERROR me.chanjar.weixin.mp.api.impl.WxMpServiceImpl:403 -
[URL]: https://api.weixin.qq.com/cgi-bin/message/template/send
[PARAMS]: {"touser":"olC5FwLnXjtCbQsW76lkevV57nH0","template_id":"Qt1zyzQs4R1uPrJylGQLSUTS6QcG6UyWB2zDzGt7QGY","url":"http://mp.weixin.qq.com/bizmall/mallshelf?id=&t=mall/list&biz=MjM5OTAxMzk4MQ==&shelf_id=7&showwxpaytitle=1#wechat_redirect","data":{"first":{"value":"查询结果","color":"#B452CD"},"keyword1":{"value":"aa4820190127175110","color":"#FF4040"},"keyword2":{"value":"352982093855677","color":"#FF4040"},"keyword3":{"value":"1.00元","color":"#FF4040"},"remark":********************}
[RESPONSE]: {"errcode":40003,"errmsg":"invalid openid hint: [mLJNpa06824120]"}
[2019-01-27 17:51:22.230] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 4200000283201901277968491434 - 352982093855677 - 1 - ERROR com.apple.wechat.service.Worker:405 - 发送模板消息失败,{"errcode":40003,"errmsg":"invalid openid hint: [mLJNpa06824120]"}
[2019-01-27 17:51:22.231] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 4200000283201901277968491434 - 352982093855677 - 1 - INFO com.apple.wechat.service.RefundService:57 - 开始发起退款,退款订单id:2056653,微信订单号:4200000283201901277968491434
[2019-01-27 17:51:22.463] - - - - - - - - INFO com.apple.wechat.service.Worker:94 - 执行任务:QueryTask{msg='C39XQ4NFKPGN', fromUserId='oOEvtjsGdmAKrZx81zsACqBjjdsA', merchant='MLdress', type='senior', authUserId='olC5FwH40UpZakKBZRls_t_HR9Ew', price='1.00', tradeNo='e50b20190127175115', model='', orderId=2056654, needRefund=false, needRedo=false, sendMsg=false, msgType='1', lat='', lon='', token='e50ba187b2f84297b60fc14699748679', wechatOrderNo='4200000269201901277039023012'}
[2019-01-27 17:51:23.327] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 4200000283201901277968491434 - 352982093855677 - 1 - INFO com.apple.wechat.service.RefundService:97 - 退款结果:success, 实付金额:1.00,发起退款金额:1.00
[2019-01-27 17:51:26.876] - - - - - - - - INFO com.apple.wechat.service.Worker:94 - 执行任务:QueryTask{msg='C39T81JEHG01', fromUserId='oOEvtjotDEF8doO3xVxyJ0-dCqFM', merchant='MLdress', type='normal', authUserId='', price='', tradeNo='', model='', orderId=0, needRefund=false, needRedo=false, sendMsg=false, msgType='1', lat='', lon='', token='', wechatOrderNo=''}
[2019-01-27 17:51:28.003] - MLdress - oOEvtjsGdmAKrZx81zsACqBjjdsA - senior - e50b20190127175115 - 4200000269201901277039023012 - C39XQ4NFKPGN - 1 - INFO com.apple.wechat.util.HttpUtils:125 - http execute cost total seconds 5540
我们可以使用下面的正则表达式对日志进行切分,将内容赋值给对应的字段
filter {
grok {
match => ["message", "\[%{TIMESTAMP_ISO8601:logdate}\] - (?[\b\w\s]*) - (?[\u4e00-\u9fa5\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - %{WORD:level}\s*%{JAVACLASS:class}:%{NUMBER:lineNumber} - (?[\W\w\S\s]*)"]
}
date {
match => ["logdate", "yyyy-MM-dd HH:mm:ss.SSS"]
target => "@timestamp"
}
}
(?[\b\w\s]*) 表示使用[]中的正则表达式,将识别结果放入商家字段中,其他类似。至于这里的match怎么写,和你的log配置文件和你想要的效果有很大关系,所以只能慢慢调试,直到你写的match能正确切出你的log文件。在线测试你的正则表达式是否能匹配项目输出日志测试工具传送门
完整的配置文件
input {
file {
type => "wechat-log"
path => ["/usr/local/tomcat/logs/wechat/*.log"]
codec => multiline{
pattern => "^\[%{TIMESTAMP_ISO8601}\]"
what => "previous"
negate => true
}
start_position => "beginning"
}
}
filter {
grok {
match => ["message", "\[%{TIMESTAMP_ISO8601:logdate}\] - (?[\b\w\s]*) - (?[\u4e00-\u9fa5\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - %{WORD:level}\s*%{JAVACLASS:class}:%{NUMBER:lineNumber} - (?[\W\w\S\s]*)"]
}
date {
match => ["logdate", "yyyy-MM-dd HH:mm:ss.SSS"]
target => "@timestamp"
}
}
output {
elasticsearch {
hosts => "**************:9200"
index => "logstash-%{type}"
template_overwrite => true
}
}
保存后,启动logstash。命令:
nohup ./bin/logstash agent -f config/log.conf &
kibana操作首先是创建索引,因为我们的输出配置了logstash-%{type}的索引,所以索引为:logstash-wechat-log 创建索引后可以发现kibana列出了我们的字段前面定义过,如下图。
接下来,我们可以通过各种条件搜索日志。
假设我们要搜索商家为MLdress,用户输入内容为3565的日志信息,那么只需输入[merchant:MLdress AND input:3565]即可搜索对应的日志,如下图所示。
总结
通过在代码中使用MDC进行标准的日志打印,结合logstash提供的强大的日志采集插件,为了解决日志换行和我们自定义字段的问题,我们需要配置logstash配置文件来报告将所有服务器的日志统一到es,通过kibana进行自查询操作。只有这样,才能大大提高日常的开发效率。
程序员除了能写代码外,还必须具备快速发现和定位问题的能力。如果没有 ELK 这样的工具,其实是比较难快速查找和定位的。
所以,你知道的,现在就使用它。