免规则采集器列表算法(配置日志采集器logkit可以采集各种日志(包括nginx等基础组件日志)至各种数据平台进行数据分析 )

　　免规则采集器列表算法(配置日志采集器logkit可以采集各种日志(包括nginx等基础组件日志)至各种数据平台进行数据分析

)

　　配置日志采集器

　　logkit可以采集各种日志（包括nginx等基础组件日志）到各种数据平台进行数据分析。

　　1.配置数据源

　　在配置数据源页面，需要填写数据源、数据读取方式等信息。在实际配置过程中，您可以根据需要编辑高级选项。一般来说，高级选项可以默认设置。

　　这个数据源配置的意思是从本地路径为/Users/loris/的地方读取loris.log文件中的日志，从最旧的数据开始。

　　2.配置分析方法

　　配置好数据源后，需要根据数据源文件的格式配置合适的解析方式。

　　以csv格式的日志为例：

　　通过输入字段类型和分隔符，将日志内容转化为结构化数据，方便后续数据平台上的数据分析。

　　您需要在此处输入详细的字段名称并键入。

　　logkit 提供了解析样本数据的功能，即输入一行样本日志，可以看到解析结果，验证你的配置是否正确。

　　3.配置转换器

　　logkit 提供了transformer 功能来满足一些更精细的现场分析需求。

　　以更换变压器为例：

　　通过配置替换转换器，您可以将指定字段的某个值替换为另一个值。

　　目前支持的 Transformer 有：

　　如果没有字段转换要求，直接跳过这一步。

　　4.配置发送方式

　　您需要选择发送的数据平台并填写相关信息，完成发送绑定。

　　以发送到七牛大数据平台为例。您需要填写数据源名称、工作流名称以及七牛账户的公钥和私钥才能接收数据。您可以根据需要选择是否导出数据。用于日志分析、时间序列数据库和云存储进行数据存储和分析。

　　5.确认转轮配置

　　最后设置采集数据和发送数据的时间间隔，整个runner就配置好了！数据已录入七牛大数据平台，可到七牛大数据平台进行数据计算导出。

　　在配置过程中，您每一步的操作信息都会自动保存。提交前直接返回上一步修改配置信息即可，无需重新输入。

　　根据以上数据采集configuration，可以根据配置中填写的日志仓库名称查询自己在Logdb中发送的日志详情。

　　6.采集log 日志分析使用场景