汇总：将ApiBoot Logging采集的日志上报到Admin
优采云 发布时间: 2020-09-17 08:11将ApiBoot日志记录采集的日志报告给管理员
每个请求的详细信息都可以通过ApiBoot Logging获得。在分布式部署模式下，请求可以通过多个服务。如果每个服务都独立保存请求日志信息，我们将无法做到。统一控制，日志数据库和业务数据库之间将存在不一致（可能使用多个数据源配置）。由于这个问题，ApiBoot Logging提供了Admin的概念，它将客户端采集连接到。每个日志都报告给Admin，并且Admin将分析并保存操作。
创建Logging Admin项目
ApiBoot Logging Admin可以汇总每个业务服务的请求日志（ApiBoot Logging），因此我们需要向Admin报告每个业务服务的日志采集，因此我们应该使用独立的部署方法。创建单独的服务以专门请求日志采集，然后将其保存。
初始化Logging Admin项目依赖项
使用想法创建一个SpringBoot项目，pom.xml配置文件中的依赖项如下：
org.springframework.boot
spring-boot-starter-web
org.minbox.framework
api-boot-starter-logging-admin
mysql
mysql-connector-java
com.zaxxer
HikariCP
org.minbox.framework
api-boot-starter-mybatis-enhance
我们需要将请求日志从采集保存到数据库，因此我们需要在项目中添加与数据库驱动程序和数据库连接池相关的依赖项。 ApiBoot Logging Admin通过DataSource操作数据，并依赖于ApiBoot MyBatis Enhance。您可以自动创建DataSource，摆脱手动创建的麻烦，并加入Spring IOC容器。
添加ApiBoot统一版本依赖项
org.minbox.framework
api-boot-dependencies
2.1.4.RELEASE
import
pom
最新版本的ApiBoot，请访问:: api-boot-dependencies以进行查询。
启用日志记录管理员
添加ApiBoot Logging Admin依赖项后，无法完全使用Admin功能。我们需要通过@EnableLoggingAdmin批注启用它。该批注将自动在Logging Admin中注册一些必需的类到Spring IOC，并将批注添加到条目类中，如下所示：
/**
* ApiBoot Logging Admin入口类
*/
@SpringBootApplication
@EnableLoggingAdmin
public class ApibootReportLogsByLoggingToAdminApplication {
public static void main(String[] args) {
SpringApplication.run(ApibootReportLogsByLoggingToAdminApplication.class, args);
}
}
配置日志数据源
application.yml配置文件中的数据源配置如下：
# 服务名称
spring:
application:
name: apiboot-report-logs-by-logging-to-admin
# 数据源相关配置
datasource:
driver-class-name: com.mysql.cj.jdbc.Driver
url: jdbc:mysql://localhost:3306/test
username: root
password: 123456
type: com.zaxxer.hikari.HikariDataSource
# 服务端口号
server:
port: 8081
控制台将打印报告日志
ApiBoot Logging Admin可以控制是否通过配置文件在控制台上从采集打印请求日志信息，并在application.yml配置文件中添加以下内容：
api:
boot:
logging:
# Logging Admin相关配置
admin:
# 控制台显示采集的日志信息
show-console-report-log: true
注意：这不应与ApiBoot Logging提供的api.boot.logging.show-console-log配置混淆。
美化控制台打印的报告日志
api:
boot:
logging:
# Logging Admin相关配置
admin:
# 控制台输出时美化采集到的日志
format-console-log-json: true
注意：请勿在此处与api.boot.logging.format-console-log-json配置混淆。
初始化日志表结构
ApiBoot Logging Admin使用固定的表结构来存储请求日志和服务信息。表创建语句如下：
SET NAMES utf8mb4 ;
--
-- Table structure for table `logging_request_logs`
--
CREATE TABLE `logging_request_logs` (
`lrl_id` varchar(36) COLLATE utf8mb4_general_ci NOT NULL COMMENT '主键，UUID',
`lrl_service_detail_id` varchar(36) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '服务详情编号，关联logging_service_details主键',
`lrl_trace_id` varchar(36) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '链路ID',
`lrl_parent_span_id` varchar(36) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '上级跨度ID',
`lrl_span_id` varchar(36) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '跨度ID',
`lrl_start_time` mediumtext COLLATE utf8mb4_general_ci COMMENT '请求开始时间',
`lrl_end_time` mediumtext COLLATE utf8mb4_general_ci COMMENT '请求结束时间',
`lrl_http_status` int(11) DEFAULT NULL COMMENT '请求响应状态码',
`lrl_request_body` longtext COLLATE utf8mb4_general_ci COMMENT '请求主体内容',
`lrl_request_headers` text COLLATE utf8mb4_general_ci COMMENT '请求头信息',
`lrl_request_ip` varchar(30) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '发起请求客户端的IP地址',
`lrl_request_method` varchar(10) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '请求方式',
`lrl_request_uri` varchar(200) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '请求路径',
`lrl_response_body` longtext COLLATE utf8mb4_general_ci COMMENT '响应内容',
`lrl_response_headers` text COLLATE utf8mb4_general_ci COMMENT '响应头信息',
`lrl_time_consuming` int(11) DEFAULT NULL COMMENT '请求耗时',
`lrl_create_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP COMMENT '日志保存时间',
`lrl_request_params` text COLLATE utf8mb4_general_ci,
`lrl_exception_stack` text COLLATE utf8mb4_general_ci,
PRIMARY KEY (`lrl_id`),
KEY `logging_request_logs_LRL_SERVICE_DETAIL_ID_index` (`lrl_service_detail_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci COMMENT='请求日志信息表';
--
-- Table structure for table `logging_service_details`
--
CREATE TABLE `logging_service_details` (
`*敏*感*词*_id` varchar(36) COLLATE utf8mb4_general_ci NOT NULL,
`*敏*感*词*_service_id` varchar(200) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '上报服务的ID，对应spring.application.name配置值',
`*敏*感*词*_service_ip` varchar(50) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '上报服务的IP地址',
`*敏*感*词*_service_port` int(11) DEFAULT NULL COMMENT '上报服务的端口号',
`*敏*感*词*_last_report_time` timestamp NULL DEFAULT NULL COMMENT '最后一次上报时间，每次上报更新',
`*敏*感*词*_create_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP COMMENT '首次上报时创建时间',
PRIMARY KEY (`*敏*感*词*_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci COMMENT='上报日志的客户端服务详情';
到目前为止，ApiBoot Logging Admin已经准备就绪。接下来，我们需要修改业务服务，以将请求日志报告给Logging Admin。
将日志报告给指定的日志记录管理员
我们将修改使用ApiBoot Logging获取统一管理请求日志文章的源代码，并将Logging Admin的地址添加到application.yml中，如下所示：
api:
boot:
# ApiBoot Logging 日志组件配置
logging:
# 配置Logging Admin地址
admin:
server-address: 127.0.0.1:8081
api.boot.logging.admin-service-address的配置格式为：Ip：Port，我们只需要修改一个地方，所有其他任务都将在内部交付给ApiBoot Logging。
测试
我们以应用程序的形式启动ApiBoot Logging Admin和业务服务。
使用curl访问测试地址，如下所示：
~ curl http://localhost:8080/test\?name\=admin
你好：admin
我们检查ApiBoot Logging管理控制台日志，如下所示：
Receiving Service: 【apiboot-unified-manage-request-logs -> 127.0.0.1】, Request Log Report，Logging Content：[
{
"endTime":1571641723779,
"httpStatus":200,
"requestBody":"",
"requestHeaders":{
"server-region":"JiNan",
"host":"localhost:8080",
"user-agent":"curl/7.64.1",
"accept":"*/*"
},
"requestIp":"0:0:0:0:0:0:0:1",
"requestMethod":"GET",
"requestParam":"{\"name\":\"admin\"}",
"requestUri":"/test",
"responseBody":"你好：admin",
"responseHeaders":{},
"serviceId":"apiboot-unified-manage-request-logs",
"serviceIp":"127.0.0.1",
"servicePort":"8080",
"spanId":"95a73ca0-831b-45df-aa43-2b5887e8d98d",
"startTime":1571641723776,
"timeConsuming":3,
"traceId":"25a7de96-b3dd-48e5-9854-1a8069a4a681"
}
]
我们已经看到Logging Admin控制台打印的报告请求日志，并且尚不确定此请求的日志是否已保存到数据库中。接下来，我将使用命令行查看数据库的日志信息。
查看logging_service_details表中的数据
mysql> select * from logging_service_details\G;
*************************** 1. row ***************************
*敏*感*词*_id: b069366a-25dc-41ec-8f09-242d81755cd0
*敏*感*词*_service_id: apiboot-unified-manage-request-logs
*敏*感*词*_service_ip: 10.180.98.112
*敏*感*词*_service_port: 8080
*敏*感*词*_last_report_time: 2019-10-21 02:14:26
*敏*感*词*_create_time: 2019-10-21 15:14:26
logging_service_details存储报告请求日志的每个业务服务的基本信息。每个服务的基本信息将被缓存在Logging Admin内存中，以方便获取service_id来存储日志，并且唯一性是根据ip + port + service_id确定的。相同的服务仅保存一次。
查看logging_request_logs表中的数据
mysql> select * from logging_request_logs\G;
*************************** 1. row ***************************
lrl_id: c42761f6-b072-4744-8a17-d8e6097b85de
lrl_service_detail_id: b069366a-25dc-41ec-8f09-242d81755cd0
lrl_trace_id: 055329a0-cfc1-4606-baf0-4fb0cc905ba2
lrl_parent_span_id: NULL
lrl_span_id: aab83092-7749-4f88-8cb6-a949cc060197
lrl_start_time: 1571642065262
lrl_end_time: 1571642065286
lrl_http_status: 200
lrl_request_body:
lrl_request_headers: {"server-region":"JiNan","host":"localhost:8080","user-agent":"curl/7.64.1","accept":"*/*"}
lrl_request_ip: 0:0:0:0:0:0:0:1
lrl_request_method: GET
lrl_request_uri: /test
lrl_response_body: 你好：admin
lrl_response_headers: {}
lrl_time_consuming: 24
lrl_create_time: 2019-10-21 15:14:26
lrl_request_params: {"name":"admin"}
lrl_exception_stack: NULL
敲黑板画关键点
在本章中，我们集成了ApiBoot Logging Admin，将业务服务的每个请求日志报告给Logging Admin，先通过数据库保存请求日志，然后再通过其他方法，并通过spanId和traceId查看日志下属每个请求链接与消耗每个请求中时间最多的跨度的关系，以准确地优化*敏*感*词*能。
作者的个人博客
使用开源框架ApiBoot帮助您成为Api接口服务架构师
