取消filebeat生成的日志源字段，让数据更清晰

　　在现代化的软件开发中，日志是一个非常重要的组成部分。它允许开发人员和运维人员了解应用程序的运行状况，有助于快速诊断和解决问题。而在日志采集中，filebeat是一个非常受欢迎的工具。然而，在使用filebeat时，有时我们需要取消某些不必要的日志源字段。那么，如何实现呢？本文将逐步分析并解决这个问题。

　　一、为什么需要取消日志源字段？

　　在使用filebeat采集日志时，每条日志都会包含一些元数据，例如时间戳、主机名、进程ID等。这些元数据称为“日志源字段”。虽然这些信息对于调试和故障排除很有用，但是在某些情况下，我们可能希望取消它们。例如：

　　1.保护隐私：如果你正在处理涉及个人身份信息或其他敏感信息的数据，你可能不希望泄露一些元数据。

　　2.减少存储空间：如果你的应用程序每天产生大量的日志，并且你想要将它们存储在较小的磁盘上，那么去掉一些不必要的元数据可以帮助你减少存储空间。

　　3.提高性能：如果你是一个大型组织，在处理海量数据时，取消一些不必要的元数据可以提高性能。

　　

　　二、如何取消日志源字段？

　　1.使用processors

　　Filebeat提供了一个称为“processors”的功能来修改事件。我们可以使用processors来删除或重命名事件中的字段。下面是一个例子：

　　

processors:

- drop_fields:

fields:["agent","input"]

　　上述代码将删除事件中的“agent”和“input”字段。

　　2.修改配置文件

　　

　　修改filebeat配置文件也可以实现取消某些日志源字段。例如：

　　

fields_under_root: true

fields:

- name:"log_type"

value:"application"

- name:"log_level"

value:"info"

output.elasticsearch:

hosts:["localhost:9200"]

index:"my_index-%{+yyyy.MM.dd}"

　　上述代码将添加两个自定义字段“log_type”和“log_level”，并且禁用了默认添加的“agent”和“input”字段。

　　三、如何测试？

　　完成上述操作后，可以通过以下方式来测试是否成功取消了日志源字段：

　　1.查看已经发送到Elasticsearch或Logstash等目标系统中的事件是否已经不包含被删除或被禁用的字段。

　　

　　2.检查Kibana中索引模板是否包含被删除或被禁用的字段。

　　四、注意事项

　　在取消或修改任何日志源字段之前，请确保你理解它们对于应用程序运行状况监控和故障排除方面所起到的作用。如果您没有足够的经验，请先进行测试，并始终保留原始事件以便未来参考。

　　五、总结

　　本文介绍了如何使用Filebeat取消或重命名某些不必要的日志源字段，并提供了两种实现方法：使用processors和修改配置文件。通过本文所述方法，我们可以根据需要自由地控制哪些元数据包含在每条记录中，并且可以避免泄露敏感信息以及减少存储空间和提高性能等方面带来的好处。

　　优采云（www.ucaiyun.com）提供专业的ELK技术支持服务，并为您优化ELK系统以提高性能和稳定性。同时，在ELK系统部署过程中我们还会根据您网站特点给出SEO优化建议，让您网站更好地被搜索引擎收录和排名。