性能优越的轻量级日志收集工具，微软、亚马逊都在用！
优采云 发布时间: 2022-05-24 14:23性能优越的轻量级日志收集工具，微软、亚马逊都在用！
ELK日志收集系统大家都知道，但是还有一种日志收集系统EFK，肯定有很多朋友不知道！这里的F指的是Fluentd，它具有Logstash类似的日志收集功能，但是内存占用连Logstash的十分之一都不到，性能优越、非常轻巧。本文将详细介绍Fluentd的使用，主要用来收集SpringBoot应用的日志，希望对大家有所帮助！
Fluentd 简介
Fluentd是一款开源的日志收集功能，致力于为用户搭建统一的日志收集层，和Elasticsearch、Kibana一起使用可以搭建EFK日志收集系统。什么是统一的日志收集层呢？看下下面这张图就清楚了！
来自Fluentd官网安装
在中已经介绍了ELK日志收集系统的搭建，这里就不再介绍Elasticsearch和Kibana的安装了，直接介绍Fluentd在Docker环境下的安装。
docker pull fluent/fluentd:v1.10<br />
<br /> @type forward<br /> @id input1<br /> @label @mainstream<br /> port 24224<br /><br /><br /><br /> @type stdout<br /><br /><br /><br /> <br /> @type file<br /> @id output_docker1<br /> path /fluentd/log/docker.*.log<br /> symlink_path /fluentd/log/docker.log<br /> append true<br /> time_slice_format %Y%m%d<br /> time_slice_wait 1m<br /> time_format %Y%m%dT%H%M%S%z<br /> <br /> <br /> @type file<br /> @id output1<br /> path /fluentd/log/data.*.log<br /> symlink_path /fluentd/log/data.log<br /> append true<br /> time_slice_format %Y%m%d<br /> time_slice_wait 10m<br /> time_format %Y%m%dT%H%M%S%z<br /> <br /><br />
docker run -p 24221:24221 -p 24222:24222 -p 24223:24223 -p 24224:24224 --name efk-fluentd \<br />-v /mydata/fluentd/log:/fluentd/log \<br />-v /mydata/fluentd/fluent.conf:/fluentd/etc/fluent.conf \<br />-d fluent/fluentd:v1.10<br />
chmod 777 /mydata/fluentd/log/<br />
docker exec -it --user root efk-fluentd /bin/sh<br />
fluent-gem install fluent-plugin-elasticsearch<br />
version: '3'<br />services:<br /> elasticsearch:<br /> image: elasticsearch:6.4.0<br /> container_name: efk-elasticsearch<br /> user: root<br /> environment:<br /> - "cluster.name=elasticsearch" #设置集群名称为elasticsearch<br /> - "discovery.type=single-node" #以单一节点模式启动<br /> - "ES_JAVA_OPTS=-Xms512m -Xmx512m" #设置使用jvm内存大小<br /> - TZ=Asia/Shanghai<br /> volumes:<br /> - /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins #插件文件挂载<br /> - /mydata/elasticsearch/data:/usr/share/elasticsearch/data #数据文件挂载<br /> ports:<br /> - 9200:9200<br /> - 9300:9300<br /> kibana:<br /> image: kibana:6.4.0<br /> container_name: efk-kibana<br /> links:<br /> - elasticsearch:es #可以用es这个域名访问elasticsearch服务<br /> depends_on:<br /> - elasticsearch #kibana在elasticsearch启动之后再启动<br /> environment:<br /> - "elasticsearch.hosts=http://es:9200" #设置访问elasticsearch的地址<br /> - TZ=Asia/Shanghai<br /> ports:<br /> - 5601:5601<br /> fluentd:<br /> image: fluent/fluentd:v1.10<br /> container_name: efk-fluentd<br /> user: root<br /> environment:<br /> - TZ=Asia/Shanghai<br /> volumes:<br /> - /mydata/fluentd/log:/fluentd/log<br /> - /mydata/fluentd/fluent.conf:/fluentd/etc/fluent.conf<br /> depends_on:<br /> - elasticsearch #kibana在elasticsearch启动之后再启动<br /> links:<br /> - elasticsearch:es #可以用es这个域名访问elasticsearch服务<br /> ports:<br /> - 24221:24221<br /> - 24222:24222<br /> - 24223:24223<br /> - 24224:24224<br />
Fluentd配置详解
接下来我们来介绍下Fluentd配置文件如何配置，先放出完全配置，然后我们对里面的一些配置要点进行详细说明。
完全配置
<br /> @type tcp<br /> @id debug-input<br /> port 24221<br /> tag debug<br /> <br /> @type json<br /> <br /><br /><br /><br /> @type tcp<br /> @id error-input<br /> port 24222<br /> tag error<br /> <br /> @type json<br /> <br /><br /><br /><br /> @type tcp<br /> @id business-input<br /> port 24223<br /> tag business<br /> <br /> @type json<br /> <br /><br /><br /><br /> @type tcp<br /> @id record-input<br /> port 24224<br /> tag record<br /> <br /> @type json<br /> <br /><br /><br /><br /> @type parser<br /> key_name message<br /> reserve_data true<br /> remove_key_name_field true<br /> <br /> @type json<br /> <br /><br /><br /><br /> @type stdout<br /> output_type json<br /><br /><br /><br /> @type elasticsearch<br /> host 192.168.3.101<br /> port 9200<br /> type_name docker<br /> logstash_format true<br /> logstash_prefix docker-${tag}-logs<br /> logstash_dateformat %Y-%m-%d<br /> flush_interval 5s<br /> include_tag_key true<br /><br />
配置要点解析
定义了日志收集的来源，可以有tcp、udp、tail（文件）、forward（tcp+udp）、http等方式。
这里我们从tcp请求收集日志，端口为24221，并且设置了tag为debug。
<br /> @type tcp<br /> @id debug-input<br /> port 24221<br /> tag debug<br /> <br /> @type json<br /> <br /><br />
定义对原始数据的解析方式，可以将日志转化为JSON。
比如我们将debug日志转化为JSON可以进行如下配置。
<br /> @type tcp<br /> @id debug-input<br /> port 24221<br /> tag debug<br /> <br /> @type json<br /> <br /><br />
可以对收集的日志进行一系列的处理，比如说将日志打印到控制台或者对日志进行解析。
将所有日志打印到控制台的配置：
<br /> @type stdout<br /><br />
对于tag为record来源的日志，我们将其中的message属性转化为JSON格式，如果不进行转化的话，message属性将会是一个字符串。
<br /> @type parser<br /> key_name message<br /> reserve_data true<br /> remove_key_name_field true<br /> <br /> @type json<br /> <br /><br />
定义了收集到的日志最后输出到哪里，可以输出到stdout（控制台）、file、elasticsearch、mongo等里面。
这里我们使用elasticsearch来存储日志信息，logstash_format、logstash_prefix、logstash_dateformat主要用来控制日志索引名称的生成，当前配置生成debug日志的索引格式为docker-debug-logs-2020-06-03，flush_interval用来控制日志输出到elasticsearch的时间间隔。
<br /> @type elasticsearch<br /> host 192.168.3.101<br /> port 9200<br /> type_name docker<br /> logstash_format true<br /> logstash_prefix docker-${tag}-logs<br /> logstash_dateformat %Y-%m-%d<br /> flush_interval 5s<br /> include_tag_key true<br /><br />
替换配置文件
替换掉原来的/mydata/fluentd/fluent.conf配置文件，然后再重新启动服务，我们的Fluentd服务就可以开始收集日志了。
docekr restart efk-fluentd<br />
结合SpringBoot使用
其实Fluentd收集日志的原理和Logstash一样，都是通过tcp端口来收集日志，所以我们只要把logback配置文件中原来Logstash日志收集地址端口改为Fluentd的即可。
<br /><br /> ${LOG_STASH_HOST}:24221<br /><br /><br /><br /><br /> ${LOG_STASH_HOST}:24222<br /><br /><br /><br /><br /> ${LOG_STASH_HOST}:24223<br /><br /><br /><br /><br /> ${LOG_STASH_HOST}:24224<br /><br />
logstash:<br /> host: localhost<br />
Kibana中查看日志
至此我们的EFK日志收集系统搭建完成了，只需在Kibana中使用即可。
Logstash vs Fluentd
接下来我们来对这两个日志收集工具的各个方面做个对比。
对比方面LogstashFluentd
内存占用
启动1G左右
启动60M左右
CPU占用
较高
较低
支持插件
丰富
丰富
通用日志解析
支持grok（基于正则表达式）解析
支持正则表达式解析
特定日志类型
支持JSON等主流格式
支持JSON等主流格式
数据过滤
支持
支持
数据buffer发送
插件支持
插件支持
运行环境
JRuby实现，依赖JVM环境
CRuby、C实现，依赖Ruby环境
线程支持
支持多线程
多线程受GIL限制
参考资料
官方文档：
项目源码地址
