php抓取网页json数据(JSON西装一样采集的日志样本图（上）)

　　php抓取网页json数据(JSON西装一样采集的日志样本图（上）)

　　记录和监控就像托尼·斯塔克和他的钢铁侠套装。两者需要搭配使用才能发挥最大功效，因为它们相得益彰。

　　日志一直是应用和基础框架性能和故障诊断的重要手段，但现在我们意识到日志不仅可以用于故障诊断，还可以用于大数据分析、业务可视化和性能分析等..

　　因此，记录应用程序日志非常非常重要。

　　为什么要使用 JSON 格式

　　为了了解 JSON 日志记录的优势，我们先来了解一段 Anuj（系统工程师）和 Kartik（业务分析师）之间的对话。

　　但几天后，Kartik 发现 Web 界面已关闭。 Anuj摸着头看了看日志，发现开发者在日志中多加了一个字段，破坏了他自定义的日志解析器。

　　相信很多童鞋都遇到过类似的情况吧？

　　这种情况下，如果开发者把应用设计成JSON格式的日志，那么Anuj定义的解析器就很简单了，然后根据JSON键搜索字段就够了，你不用需要关心它是否在日志中的新字段已被修改。

　　使用JSON格式的日志最大的好处就是结构化，让我们分析应用日志非常方便。不仅可以轻松读取日志，还可以通过各个字段进行日志查询，几乎所有编程语言都可以轻松解析。

　　JSON 日志魔术

　　最近，我们创建了一个 Golang 示例应用程序，以在代码构建、测试和部署阶段获取一些相关信息。我们使用 JSON 格式的日志进行记录。

　　采集的日志样本如下：

　　使用ELK进行日志采集时，我们只需要在Logstash中添加如下日志分析即可：

　　filter {

json {

source => "message"

}

}

　　我们不需要任何额外的解析步骤，即使新的字段被添加到日志中。 采集日志到达如下图：

　　我们可以看到，在Kibana中，JSON日志的key已经被自动解析为ES属性，比如employee_name、employee_city等字段。我们不需要在 Logstash 或其他工具中添加一些非常复杂的解析。现在我们可以很容易地使用这些数据来创建一些 Dashboards 进行数据分析。

　　结论

　　从文本日志迁移到 JSON 日志格式不会花费太长时间。大多数编程语言都有相应的 JSON 日志库。我非常确定 JSON 日志格式将为您当前的日志采集系统提供更大的灵活性。性。

　　以下是一些支持 JSON 日志格式的流行库：

　　希望大家现在对 JSON 格式的日志有了更好的了解。

　　原文：

　　翻译：