filebeat采集容器日志时根据kubernetes元数据限定采集源的问题

　　filebeat采集容器日志时根据kubernetes元数据限定采集源的问题

　　在使用filebeat采集部署在使用腾讯云TKE容器集群上的日志时，默认情况下会把default、kube-system等自动创建的命名空间下的日志都采集上来，但是这些命名空间下的日志一般都不是我们需要的，怎么过滤掉对这些命名空间下的容器运行日志？比较直观的想法是在filebeat的yml配置中定义好processors，使用drop_event processor对采集上来的不需要的日志进行丢弃，这种方法虽然能够实现日志的过滤，但是filebeat还是会对不需要采集的容器日志进行*敏*感*词*和采集，一定程度上降低了filebeat的效率，所以有没有好的方法能够从源头就不采集不需要的日志呢？

　　1. 使用filebeat 7.x版本采集容器日志

　　对于容器日志的采集，filebeat有专门的inupt类型：docker和container两种，早期的6.x版本的filebeat只有docker input类型，对于使用docker作为运行时组件的kubernetes集群，比较友好；在7.2版本的filebeat又重新开发了container类型的input类型，无论是docker组件还是containerd组件，都可以比较好的支持。因此从7.2版本开始，docker input就被废弃了，官方推荐使用container input。

　　在使用filebeat 7.x版本采集容器日志时，推荐采用container input，并且使用autodiscover实现容器的自动发现，也就是在有新的容器运行时，filebeat会自动去采集新建的容器日志，而不需要再去修改filebeat.yml来实现对新部署的容器日志的采集。而正是使用autodiscover功能，使得限定采集源成为了可能，因为在autodiscover模式下，filebeat在启动时就会去调用kubernetes API来获取当前集群下所有的namespace、pod、container等元数据的信息，然后根据这些元数据再去指定的目录采集对应的日志。

　　下面给出一个可用的限定采集源的filebeat.yml：

　　filebeat.autodiscover: providers: - type: kubernetes hints.enabled: true templates: - condition: and: - or: - equals: kubernetes.namespace: testa - equals: kubernetes.namespace: testb - equals: kubernetes.container.name: nginx kubernetes.labels: k8s-app: nginx config: - type: container paths: - /var/log/containers/${data.kubernetes.pod.name}_${data.kubernetes.namespace}_${data.kubernetes.container.name}-*.logoutput.elasticsearch: hosts: ['x.x.x.x:9200'] username: "xxx" password: "xxx"

　　在该配置中，用于限定采集源的配置就是condition模块下的部分，用于限定只采集testa 或者 testb命名空间下的nginx容器的日志。可以根据kubernetes元数据来限定采集源，可用的元数据有以下这些：

　　上述配置中，condition可以根据需求定义更复杂的限定条件，可以参考官方文档中的Conditions进行填写。

　　另外需要注意的是，上述配置中的config模块下的paths路径，需要也通过占位符对日志文件的名称进行匹配，否则就会出现采集上来的日志内容与kubernetes元数据不一致的问题。比如/var/log/containers目录下有各个pod的日志，日志文件名的命名规则为{pod_name}\_{namespace}\_{container\_name}-{container\_id}.log：

　　nginx-6c5ff7b97b-6t5k4_default_nginx-eeecb30c81564668b1858c186099ab525431b435ed1b8fa3b25704cbbbca6a2d.log

　　那么 paths就需要通过$符进行规则匹配：

　　${data.kubernetes.pod.name}_${data.kubernetes.namespace}_${data.kubernetes.container.name}-*.log

　　2. 使用filebeat 6.x版本采集容器日志

　　6.x版本的filebeat，只有docker input，对于docker运行时组件比较友好，而对于containerd运行时组件，不太友好，没有较好的方式限定采集源，只能全量采集所有容器的日志。

　　2.1 采集docker组件部署的kubernetes集群中的容器日志

　　配置文件如下：

　　filebeat.autodiscover: providers: - type: kubernetes templates: - condition: and: - equals: kubernetes.labels: k8s-app: nginx config: - type: docker combine_partial: true containers: ids: - ${data.kubernetes.container.id}output.elasticsearch: hosts: ['http://x.x.x.x:9200'] username: "xxxx" password: "xxx"

　　其中的condition条件用于限定只采集标签为k8s-app: nginx的容器的日志。

　　2.2 采集containerd组件部署的kubernetes集群中的容器日志

　　配置文件如下：

　　filebeat.autodiscover: providers: - type: kubernetes hints.enabled: true templates: - condition: and: - equals: kubernetes.labels: k8s-app: nginx config: - type: docker combine_partial: true symlinks: true containers: path: "/var/log/containers" ids: - ""output.elasticsearch: hosts: ['http://x.x.x.x:9200'] username: "xxx" password: "xxxx"

　　上述配置与2.1中配置的区别是，需要显式的指定container.path为/var/log/containers, 因为containerd组件下，容器日志在该目录下，并且为软链接，需要指定symlinks: true，否则就无法采集。另外，container.ids需要指定为空字符串，不必限定容器的id的匹配规则，该配置项对docker组件部署的容器有效，因为docker组件下，容器日志默认在/var/lib/docker/containers目录下，且日志文件名采用容器id命名。

　　上述配置的问题就是condition条件不会生效，会全量采集所有的命名空间下的容器日志，目前没有找到较好的解决办法来限定采集源，但是可以通过定义drop_event processor来丢弃掉不需要采集的日志。实际使用中，还是建议直接使用7.2及以上版本的filebeat来采集使用containerd组件部署的kubernetes集群中的容器日志。