科学: 为您介绍Fluentd大数据采集平台的文章
优采云 发布时间: 2020-08-06 07:13在大数据采集平台中,有一个特殊的平台,其所有部分均可自定义,您可以通过简单的配置在任何地方采集日志. 这是许多公司当前使用的非常热门的大数据采集平台,因此本期将介绍这个特殊的平台-Fluentd.
“什么是流利的?
Fluentd是一个开放源代码数据采集器,旨在处理数据流(有点类似于syslogd),但使用JSON作为数据格式. 它采用插件架构,具有高可伸缩性和高可用性,并实现了高度可靠的信息转发.
根据点(Y)和分析(Y),Fluentd源自Fluent + d,而d生动地表明它是作为守护程序运行的. 官方网站将其描述为数据采集器. 在使用中,我们可以先将信息从各种来源发送到Fluentd,然后Fluentd根据配置通过不同的插件将信息转发到不同的位置,例如文件,SaaS平台,甚至可以将数据库转发到另一个Fluentd.
官方网站: “流利的角色
官方网站上提供的两张图片可以使您对Fluentd的角色有非常直观的了解.
在使用Fluentd之前,日志系统的状态:
使用Fluentd之后,日志系统的状态:
机制图:
“ Fluentd的功能
<p>1)易于安装2)占地面积小)3)半结构化数据记录4)灵活的插入机制5)可靠的缓冲6)日志转发“ Fluentd的部署和体系结构与Flume非常相似: