解决方案:一种基于云原生的数据自动采集方法及装置与流程

　　解决方案:一种基于云原生的数据自动采集方法及装置与流程

　　1、本发明涉及数据治理领域，尤其涉及一种基于云原生的元数据自动采集方法及装置。

　　背景技术：

　　2、数字经济时代，数据作为最重要的新型生产要素，是数字化、网络化、智能化的基础。它迅速融入生产、流通、消费和社会服务管理，深刻改变生产方式和社会治理方式。

　　3、元数据是关于数据的组织、数据域及其关系的信息，即描述数据的数据。元数据可以实现对大量网络数据的简单高效管理，实现信息资源的有效发现、搜索、整合组织和资源使用的有效管理。只有通过对元数据的统一管理，建立清晰的数据资产目录，才能有效解决数据孤岛问题，真正实现数据的流通、汇聚、交换和共享。

　　4、目前企业所处行业、类型、规模、产品差异较大，导致数据差异较大。企业元数据模板和格式不统一，互操作性差，元数据信息主要通过人工统计采集

。汇总管理方面，统计信息存在依赖人工、更新不及时、遗漏错误等诸多问题，使企业难以全面准确掌握内部元数据信息，容易形成数据孤岛。

　　技术实现要素：

　　5、为了解决现有技术中存在的问题，本发明提供一种云原生元数据自动采集方法及装置，适用于各种云平台，实现自动化、无感、准确的采集上报的元数据。

　　6、本发明采用的技术方案是：

　　7、一种基于云端的元数据自动采集设备a，该采集设备包括：

　　8、元数据探测模块a1利用jvm探测技术读取各种异构数据源的服务器web端口流量信息，并利用字节码技术从流量信息中获取数据库相关操作（如数据库实例、表、字段等） . 、数据、视图、存储过程等），使用http将数据库操作信息自动转发到后面的元数据分析模块a2；

　　9、元数据分析模块a2根据数据库操作的相关信息，分析数据库表的字段信息（即元数据信息）；

　　10、元数据上报模块a3将上述分析得到的元数据通过http或其他方式上报给企业元数据管理的相关系统。

　　11. 一种基于云原生的元数据自动采集方法，包括以下步骤：

　　12、步骤1、本发明中用于元数据采集的数据库均位于docker环境中。用户一般通过应用程序访问数据库。因此，元数据探测模块a1被集成到数据库对应的应用程序中以生成应用程序。相应地镜像。

　　13. Step 2. 根据实际使用场景，手动设置镜像的启动参数。主要参数包括：

　　14.p1：应用使用的数据库类型（oracle、postgresql、mysql等主流数据库）；

　　

" />

　　15.p2：应用使用的数据库的连接字符串（包括ip、端口、用户名、密码）；

　　16.p3：元数据分析模块a2地址；

　　17.p4-pn：应用业务设置所需的参数。

　　18、步骤3：正常启动镜像，设备a可以抓取用户通过应用程序对数据库的操作信息，分析出当前数据库的元数据信息，并上报给企业元数据管理平台。具体实施过程包括：

　　19. 步骤 3.1。用户通过应用程序进行一系列数据库操作（包括增删改查库实例、表、字段、数据、视图、存储过程等），设备a的元数据探测模块a1读取database 其所在服务器的web端口流量信息，用于获取数据库相关的操作信息，并发送给元数据分析模块a2。

　　20、在步骤3.2中，元数据分析模块a2从上述数据库相关操作中分析出数据库表的字段信息(即元数据信息)。将以上数据库操作信息按时间整理分析（如用户在时间t1对字段x进行查询操作，在时间t2对字段y进行查询操作，用户在时间t3将字段z修改为z' ，则a2模块需要综合分析上述操作，得到比较完整的元数据信息{x,y,z'}，发送给元数据上报模块a3。

　　21、步骤3.3中，元数据上报模块a3接收该时段的元数据信息，将其转换为标准化的元数据上报报文，通过http或其他方式上报给企业元数据管理的相关系统。

　　22. 步骤 3.4。在后续期间，重复上述步骤 3.1-3.3。通过获取用户对数据库表的操作信息，不断完善和更新元数据信息，并上报给企业元数据管理的相关系统。通过本发明提供的元数据自动采集方法，企业可以及时汇总和更新内部数据的元数据信息，进行统一管理和格式标准化，解决了各系统之间相互独立、互操作性差的问题。

　　23.与现有技术相比，本发明的有益效果是：

　　24、本发明能够准确、及时地采集云平台中数据库的元数据信息，并自动上报，帮助企业全面、准确、及时地掌握内部元数据信息，实现统一管理。的元数据。进一步，为数据的汇聚、流通、交换和共享奠定基础。

　　图纸说明

　　25.收录

在本说明书中并构成本说明书的一部分的附图图示了与本公开一致的实施例，并且与描述一起用于解释本公开的原理。

　　26. 图1是基于云原生的自动元数据采集设备a的框图。

　　27. 图2为基于云原生的元数据自动采集方法流程图。

　　28. 图。图3是根据本发明实施例的将数据探测程序a1集成到应用系统e中的示例。

　　29. 图4为元数据传统人工统计上报*敏*感*词*。

　　30. 图5为本方法元数据自动采集上报*敏*感*词*。

　　

" />

　　详细方法

　　31、下面结合附图和具体实施例对本发明作进一步详细说明：

　　32、一种基于云原生的元数据自动采集装置a，如图1所示，主要包括：

　　33、元数据探测模块a1，用于读取web端口的流量信息，获取数据库相关操作，实现数据库操作信息的自动转发；

　　34、元数据分析模块a2根据与数据库运行相关的交通信息，分析数据库的元数据信息；

　　35、元数据上报模块a3通过http等方式向部署的元数据管理系统进行上报。

　　36、一种基于云原生的元数据自动采集方法，如图2所示，其实现过程包括以下步骤：

　　37、第1步，e为docker环境下部署的现有应用程序，e使用的数据库为w。在不修改应用e源码的情况下，将设备a的元数据探测模块a1做成一个基础镜像，集成到应用e中，根据部署需要调整dockerfile等云原生应用的配置应用e文件生成图像e'，如图3所示。

　　38. Step 2. 根据实际使用场景，设置镜像e'的启动参数，主要参数包括：

　　39.p1：应用e使用的数据库w的类型（oracle、postgresql、mysql等主流数据库）；

　　40.p2：使用的数据库的连接字符串（包括ip、端口、用户名、密码）；

　　41.p3：元数据分析模块a2地址；

　　42.p4-pn：应用业务需要的其他必要参数。

　　43、步骤3、正常启动镜像e'，可以自动采集

用户通过应用程序e对数据库w的元数据修改信息。具体实施过程包括：

　　44. 步骤 3.1。用户通过应用程序e对数据库w进行操作（包括对数据库的存储操作，对数据库中的实例、表、字段、数据、视图的增、删、改、查等操作）。元数据探测模块a1通过镜像上述操作相关的流量信息，获取数据库相关的操作信息，并发送给元数据分析模块a2。以下面的数据库为例：

　　45、数据库w的表v存储了某地区工商企业的信息，如表1所示，在初始状态下，表v存储了“公司名称”、“注册地址”、“成立日期”等8项”、“企业法人”、“注册资本”、“人员规模”、“*敏*感*词*”、“英文名称”。场信息。

　　46.表1是数据库表v的例子

　　解决方案:怎么使用Oracle故障日志采集工具TFA

　　本文主要介绍“如何使用Oracle故障日志采集

工具TFA”。在日常操作中，相信很多人都对如何使用Oracle故障日志采集

工具TFA存有疑惑。希望对您解答“Oracle故障日志采集

工具TFA如何使用”的疑惑！接下来就请跟随小编一起学习吧！

　　采集

日志信息是“高消耗”的体力劳动吗？在许多情况下是这样。

　　想象一下，如果数据库发生挂起故障，而数据库有8个节点，我们可能需要采集

rdbms、ASM、grid、OS、osw等的日志信息，这个工作简直就是噩梦。即使是普通的双节点RAC环境，恐怕也需要一段时间，后续可能还会有持续的补充日志采集

。

　　环境不熟悉、平台差异、故障点需要过滤采集

特定的日志信息、数据库中存在很多节点、需要采集

日志的环境下的文件管控等诸多问题可能会影响我们采集

日志信息的速度和准确性，进而影响问题分析和定位的进度。

　　那么我们就有一个很现实的问题，如何减少日志采集

消耗的时间和提高准确率，把更多的时间花在问题分析上？

　　其实Oracle官方已经提供了一个解决方案——TFA（Trace File Analyzer Collector），这个工具可以帮助我们真正做到一条命令完成日志采集

。

　　1 版本及安装

　　TFA支持的平台官方列表：

　　英特尔 Linux（企业 Linux、RedHat Linux、SUSE Linux）

　　系统 Z 上的 Linux

　　Linux 安腾

　　Oracle Solaris SPARC

　　Oracle Solaris x86-64

　　艾克斯

　　HPUX 安腾

　　HPUX PA-RISC

　　所有平台都需要 bash shell 版本 3.2 或更高版本以及 JRE 版本 1.5 或更高版本。

　　TFA工具理论上提供了对所有数据库版本的支持，以及对RAC和非RAC数据库的支持。但是，从当前文档来看，没有提及 10.2.0.4 之前的版本。

　　TFA工具在11.2.0.4版本首先默认随网格软件一起安装，默认安装路径为网格的主目录。11.2.0.4之前的版本安装包中没有TFA工具，需要手动安装。

　　Oracle官方列出的详细支持和安装状态如下：

　　TFA的更新速度非常快。11.2.0.4版本于2013年8月发布，自带的TFA工具版本为2.5.1.5。目前（2015年10月）最新版本为12.1.2.5.2，我们可以从帮助菜单中看出两个版本的巨大差异：

　　2.5.1.5版本帮助菜单：

　　

" />

　　12.1.2.5.2版本帮助菜单：

　　可以看到12.1.2.5.2版本相比2.5.1.5版本增加了很*敏*感*词*。

　　Oracle 对 TFA 的支持也在增加，甚至已经在 PSU 中收录

了 TFA 更新。以11.2.0.4版本为例，我们可以在GI PSU Fixed List中找到如下信息：

　　即从11.2.0.4.5开始，TFA的版本更新收录

在GI PSU中。TFA 将在安装 GI PSU 期间自动安装。

　　2TFA 的工作原理

　　从Oracle官方提供的一张TFA工作流程图，我们可以清楚的看出TFA是如何工作的：

　　DBA 发出 diagcollect 命令以启动 TFA 日志采集

进程。

　　本地TFA向其他节点的TFA发送采集请求，启动其他节点的日志采集。

　　本地TFA也同时开始采集

日志。

　　涉及节点的所有 TFA 日志都存档到启动 diagcollect 命令的“主”节点。

　　DBA 提取存档的 TFA 日志信息进行分析或提交 SR 进行处理

　　整个过程中，DBA只需执行一条命令，即可提取归档的TFA日志。

　　3TFA的使用

　　以11.2.0.4版本RAC和12.1.2.5.2版本TFA环境为例：

　　首先我们来看最简单最常用的采集命令：

　　该命令会采集

指定时间段内rdbms、ASM、grid、OS的各类日志，如告警日志、trace文件、集群组件日志、*敏*感*词*器日志、操作系统日志等。在执行过程中，alert log、listener log等持续的日志处理也比较智能，可以拦截指定时间段的日志，不需要复制整个日志文件。如果部署了osw工具，osw日志也会自动采集

。

　　如果需要指定日志采集

的范围，比如只采集

数据库相关的日志，可以使用tfactl diagcollect -database 命令。更多使用方法请参考tfactl diagcollect -help的输出。

　　最新版本（12.1.2.5.2）的TFA也可以采集

AWR报告。命令示例如下：

　　但是在实际应用中，发现TFA采集

AWR报告的功能还不够完善。

　　对于-database参数，帮助菜单说明为：

　　

" />

　　-database 从指定的数据库中采集

数据库日志

　　目前-awrhtml参数需要和-database参数一起使用，但是当-database参数和-awrhtml参数一起使用时，不仅用来表示数据库的名称，还可以采集

数据库警报日志和跟踪文件。. 也就是说，执行上面的命令后，会采集

指定时间段的AWR报告，同时还会采集

数据库的alert log和trace文件。

　　TFA还有自动采集的功能，可以自动采集一些预定的错误。可以在“Trace File Analyzer Collector User Guide”的附录 B. Scan Events 部分找到预定的错误和采集

规则。默认情况下禁用此功能，可以使用以下命令手动启用：

　　tfactl 设置 autodiagcollect=ON

　　建议在生产环境中使用之前先在测试环境中验证此功能。

　　TFA还可以承担一定的日志分析功能，可以一条命令自动分析DB&ASM&CRS的告警日志、操作系统命令和一些osw日志，虽然和它的日志采集

功能相比不够强大。一个简单通用的分析命令：

　　tfactl 分析 - 从 7 天开始

　　该命令会分析并找出所有（包括DB/ASM/CRS/ACFS/OS/OSW/OSWSLABINFO）7天内ERROR级别的日志错误信息并提取出来。

　　《Trace File Analyzer Collector User Guide》中列出的ERROR级别信息如下：

　　您还可以使用以下命令搜索自定义字符串：

　　默认情况下，TFA 工具只授予 root 用户和 grid 用户权限。如果使用oracle用户执行tfactl diagcollect命令，会报错：

　　用户 oracle 没有运行 TFA 的密钥。请与 TFA 管理员 (root) 检查

　　建议也给oracle用户授予日常使用TFA的权限。root用户可以使用如下命令将oracle用户添加到授权用户列表中：

　　tfactl access 添加-user oracle

　　如果采集

日志有空间管理需求，可以使用tfactl set命令设置。当前设置可以通过以下方式获得

　　tfactl 打印配置

　　命令输出，输出示例如下：

　　有关 TFA 使用和设置的更多信息，请参阅 tfactl -h 输出和跟踪文件分析器采集

器用户指南文档。

　　TFA运行时对DB或GI影响的描述在MOS上很少见，主要是以下两个问题：

　　如果在Linux平台下遇到RAC节点启动挂起的问题，并且环境中安装了TFA，可以按照文档1983567.1中的说明修改oracle-tfa.conf文件。文档1668630.1中提到的问题在11.2.0.4.3以上的PSU中已经修复。如果安装的PSU版本在11.2.0.4.3以上，可以忽略该问题。

　　至此，关于“Oracle故障日志采集

工具TFA的使用方法”的学习就结束了，希望能解开大家的疑惑。理论与实践相结合能更好的帮助你学习，快去试试吧！如果你想继续学习更多相关知识，请继续关注易速云官网，小编会继续努力，为大家带来更多实用文章！