秘籍:日志收集神器：Fluentd 的简明指南，收好了~

　　秘籍:日志收集神器：Fluentd 的简明指南，收好了~

　　这意味着 fluentd 已启动并正在运行。既然我们知道了 fluentd 是如何工作的，那么我们来看看配置文件的一些细节。

　　流畅的配置

　　输入输出

　　先看输入部分

　　@type tail path "/var/log/*.log" 标签 "ninja.*" read_from_head true

　　@type "json" time_format "%Y-%m-%dT%H:%M:%S.%NZ" time_type string </parse>

　　让我们仔细看看这些配置：

　　然后是输出部分的配置。

　　# 输出**> @typefile path/output/example.log timekey1d timekey_use_utctrue timekey_wait1m

　　在此配置中，有两个重要部分。

　　输出 ├── 示例 │ ├── buffer.b5b1c174b5e82c806c7027bbe4c3e20fd.log │ └── buffer.b5b1c174b5e82c806c7027bbe4c3e20fd.log.meta ├── example.20190731.log └── example.202005

　　有了这个配置，我们就有了一个非常简单的输入/输出管道。

　　2020-05-10T17: 04:17+ 00:00 忍者。变种。日志。港 log{ "log": "2020/05/10 17:04:16 [warn] 35#0: *4 [lua] globalpatches.lua:47: sleep: 执行阻塞'sleep' (0. 004 秒),上下文：init_worker_by_lua*\n", "stream": "stderr"} 2020-05-10T17: 04: 17+ 00: 00ninja。变种。日志。港 log{ "log": "2020/05/10 17:04:16 [warn] 33#0: *2 [lua] globalpatches. lua:47: sleep: 执行阻塞 'sleep' (0. 008 秒),上下文：init_worker_by_lua*\n", "stream": "stderr"} 2020-05-10T17: 04: 17+ 00: 00ninja。

　　变种。日志。港 log{ “log”: “2020/05/10 17:04:17 [warn] 32#0: *1 [lua] mesh.lua:86: init: no cluster_ca in declarative configuration: cannot use node in mesh mode,上下文：init_worker_by_lua*\n", "stream": "stderr"} 2020-05-10T17: 04: 30+ 00: 00ninja。变种。日志。港 日志{“日志”：“172.17.0.1 - - [10/May/2020:17:04:30 +0000] \"GET / HTTP/1.1\" 404 48 \"-\" \"curl/7.59.0 \"\n", "stream": "stdout"} 2020-05-10T17:05:38+00:00ninja. 变种。日志。港 日志{“日志”：“172.17.0.1 - - [10/May/2020:17:05:38 +0000] \"GET /users HTTP/1.

　　

　　1\" 401 26 \"-\" \"curl/7.59.0\"\n", "stream": "stdout"} 2020-05-10T17:06:24+ 00:00ninja。变种。日志。港 日志{“日志”：“172.17.0.1 - - [10/May/2020:17:06:24 +0000] \"GET /users HTTP/1.1\" 499 0 \"-\" \"curl/7.59。 0\"\n", "流": "stdout"}

　　请注意上面的日志，每行有 3 列，格式为：

　　<日志时间> 日志> 日志>

　　注意：标签都是“ninja”字符串加上目录路径和文件名，用“.”分隔。

　　筛选

　　现在我们已经在 fluentd 中实现了日志采集，让我们对其进行一些过滤。

　　到目前为止，我们已经实现了前一个命令的 2 个部分，tail -f /var/log/*.log 和 > example.log 工作正常，但是如果您查看输出，我们将访问日志和应用程序日志混合在一起，现在我们需要实现 grep 'what I want' 过滤。

　　在这个例子中，我们只想要访问日志，丢弃其他日志行。例如，通过 HTTP 进行 grepping 将为我们提供所有访问日志并排除应用程序日志，以下配置将执行此操作。

　　<filterninja.var.log.kong**> @typegrep 键日志模式/HTTP/

　　我们来分析一下这个过滤器的配置：

　　现在我们停止并再次运行容器。我们现在应该在输出日志中看到一些不同的日志，没有应用程序日志，只是访问日志数据。

　　2020- 05- 10T17: 04: 30+ 00: 00ninja.var.log.kong.log { "log": "172.17.0.1 - - [10/May/2020:17:04:30 +0000] \"GET /HTTP/1.1\"404 48\"-\"\"curl/7.59. 0\ "\n", "stream": "stdout"} 2020-05-10T17:05:38+ 00:00ninja.var。log.kong.log { "log": "172.17.0.1 - - [10/May/2020:17:05:38 +0000] \"GET /users HTTP/ 1.1\ " 401 26 \"-\ " \" curl/ 7.59.0\ "\n", "stream": "stdout"} 2020- 05- 10T17: 06: 24+ 00: 00ninja.var.log.kong.log { "log": "172.17.0.1 - - [10/May/2020:17:06:24 +0000] \"GET /users HTTP/ 1.1\ " 499 0 \"-\ " \"curl/ 7.59。0\ "\n", "条纹

　　解析访问日志

　　为了熟悉我们的配置，让我们添加一个解析器插件来从访问日志中提取一些其他有用的信息。在 grep 过滤器之后使用以下配置。

　　<filterninja.var.log.kong** > @typeparser key_name 日志

　　

　　@type nginx

　　另外让我们仔细看看这个配置：

　　现在我们的管道看起来像这样。

　　我们再次重新运行容器，访问日志现在应该如下所示。

　　2020-05-10T17：04：30+ 00：00ninja.var.log.kong.log{“远程”：“172.17.0.1”，“主机”：“-”，“用户”：“-”，“方法” "："GET"，"路径"："/"，"code"："404"，"size"："48"，"referer"："-"，"agent"："curl/7.59.0"， “http_x_forwarded_for”：“”}

　　这是上一个日志中的第一个访问日志。现在日志内容完全不同了。我们的键已从日志流更改为远程、主机、用户、方法、路径、代码、大小、引用者、代理和 http_x_forwarded_for。如果我们将其保存到 Elasticsearch 中，我们将能够通过 method=GET 或其他组合进行过滤。

　　当然，我们可以更进一步，使用remote字段中的geoip插件来提取我们API客户端的地理位置信息。可以自己测试，但是需要注意我们镜像中的这些插件。

　　总结

　　现在我们知道了如何使用 docker 让 fluentd 读取配置文件，我们了解了一些常见的 fluentd 配置，我们可以从一些日志数据中过滤、解析和提取有用的信息。

　　原文链接：

　　还是不够？想知道更多精彩内容，GOPS 2022·深圳站来啦~

　　8月19日-20日，随着“智慧”的AIOps实践之路贯穿始终，华泰证券、华为、平安银行、浙江移动、蚂蚁集团的AIOps实践已集齐~

　　有了这个对Kubernetes的介绍，它的原理秒懂！

　　“高效运维”公众号诚邀广大技术人员投稿

　　汇总:查网站关键词工具（自动关键词采集）

　　长尾搜索 关键词 不能太窄

　　同样，长尾搜索关键词也不能太窄，太窄往往只会导致搜索次数大大减少，甚至没有人搜索，这对网站也是致命的。因此，在选择长尾搜索关键词时，不能太宽也不能太窄，需要找到一个平衡点。

　　

　　这时候，我发现了很多话

　　通过挖掘，发现这个时候的词很多，不可能搜索到很多长尾关键词，只是个摆设，一定要真正的用起来。接下来说一下：也就是上面的产品词、流行词等与地区名称的组合，比如“北京法语培训班”、“上海城市快线”等等。搜索此类词的网友有更具体的商业意图，一般希望在本地消费/购买。建议您在创意中突出产品/服务的地理便利性。

　　包括现在的大部分 网站

　　

　　导航优化一直是一个被忽视的地方，包括现在的大部分网站，都没有做好导航布局的优化。如何判断？这里教大家一个一目了然的方法，就是看导航是否匹配相关长尾搜索关键词，如果不匹配长尾搜索关键词，就会很难优化，您可以在下面看到一个使用压缩器导航的比较示例。

　　喜欢看的用户越多

　　seo的范围还是比较广的，这种学习还是需要在实践中更快的学会。（1）确保长尾搜索关键词有人搜索A：中等流量的长尾搜索关键词有利于我们的优化。10，否则将被视为长尾长尾搜索关键词软件堆叠降级。文章一定要自然流畅地感谢你。喜欢看的用户越多，搜索引擎也喜欢看。另外，如果信息的内容写得不规范、不流畅、不吸引人，用户就不会对你的产品感兴趣。有兴趣，更别说点击客服对话图标查询了。