自动采集数据( 数据自动校验采集的系统及方法技术领域本发明)

　　自动采集数据(

数据自动校验采集的系统及方法技术领域本发明)

　　cmdb数据自动校验的系统及方法采集

　　技术领域

　　1.本发明涉及运维技术领域，尤其涉及一种cmdb数据自动校验的系统及方法采集。

　　背景技术：

　　2.cmdb（配置管理数据库，配置管理数据库）是企业存储资源的基础数据库。它负责存储和管理数据中心、硬件设施、虚拟机资源、软件系统、关联关系等资产，为外部数据服务提供基础。基于此，多家机构根据自身需求完成了cmdb的建设，并发挥了it资产数据管理服务的作用。但由于分行与总行、金融机构和监管部门对cmdb模型的定义不一致，cmdb数据规则不一致，难以统一汇总数据、采集和管理数据，无法给出完整的数据。发挥cmdb数据的更大价值。

　　3.目前常用配置管理数据库（cmdb）来记录云产品与服务器的对应关系。它是由运维系统配置的，所以cmdb系统记录的信息往往需要验证和更正。在现有技术中，对cmdb系统记录的信息的校验也是由运维人员定期人工处理的。

　　4.现在，cmdb数据的方法和系统采集更侧重于自动化采集和单个cmdb系统配置项信息的验证。公开号为cn108989385a的发明专利公开了一种基于zabbix监控采集自动同步cmdb的实现方法，包括以下步骤： s1)创建中间表对象作为zabbix采集器@之间的过渡> 和cmdb配置项；s2)分别建立中间表对象与zabbix采集器@>和cmdb配置项的映射关系；s3)zabbix采集器@>通过映射关系将采集数据写入中间表；s4)

　　5.公开号为cn111625528a的发明专利公开了一种验证配置管理数据库的方法、装置及可读存储介质，包括：获取每个服务器上运行的至少一个目标进程；上述各目标进程的标识信息，从预设的云产品进程部署规则库中确定与服务器具有对应关系的云产品以及与服务器具有对应关系的云产品的进程部署规则；云产品之间的对应关系 获取服务器的第一对应关系列表，利用与服务器对应的云产品的流程部署规则，查看第一对应关系列表，得到服务器的第二对应关系列表；

　　6.上述技术的主要缺点是：第一，上述发明更多关注的是单个cmdb系统的配置项数据的采集，没有关注映射和数据聚合采集多个cmdb系统之间。其次，上述发明的数据验证比较片面，没有提出全面的数据验证方法和系统。

　　技术实施要素：

　　7.针对现有技术的不足，本发明提供一种cmdb数据自动校验的系统及方法采集。

　　8.根据本发明提供的cmdb数据自动校验系统及方法采集，其方案如下：

　　9.第一方面，提供一种cmdb数据自动校验系统采集，该系统包括：

　　10.自动校验采集模块和报告模块；

　　11.自动校验采集模块：自动校验第一个cmdb系统配置项采集的数据，包括配置项采集的初始数据、处理单元和数据检查单位；

　　12.上报模块：上报数据校验通过的配置项数据，以restful api的方式完成第二个cmdb系统配置项数据的采集，包括数据上报界面和数据状态查询界面。

　　13. 优选地，采集验证映射表包括第一cmdb系统和第二cmdb系统的配置项和字段的一一对应关系、数据获取方式、是否执行批处理和数据验证规则。

　　14. 优选地，采集模块和处理单元中配置项初始数据采集的自动校验是根据采集验证映射表。配置项初始数据采集的自动化，配置项初始数据根据采集验证映射表批量处理，由定时任务采集控制，以及处理程序的定时自动化。

　　15. 优选地，配置项采集的初始数据和处理单元中配置项的初始数据采集包括：可以直接获取的值和值​​​​可以通过函数动态获取，其中，通过函数获取值需要程序动态处理才能获取对应的值，在采集映射表中以fun_开头。

　　16. 优选地，处理单元对配置项采集的初始数据和配置项的初始数据的处理包括： 检查映射表中的批标记是否根据采集，如果为true，则进行批处理；如果为 false，则不执行批处理。

　　17. 优选地，自动校验采集模块中的数据校验单元包括： 根据配置的数据校验规则进行数据校验，以满足第二cmdb系统的数据采集要求。验证规则由第二个cmdb系统配置项模型负责人通过页面配置或excel表格导入制定。

　　18. 优选地，数据校验规则包括：规范校验、逻辑校验、数据一致性校验；

　　19. 其中，规范验证包括：数据必填项验证、数据类型验证和数据范围验证；

　　20.逻辑验证是判断配置项数据的值是否符合验证规则的逻辑事实；

　　21.一致性检查是判断关联关系的配置项中是否存在关联关系的配置项。

　　22. 优选地，上报模块中的数据上报接口包括：将中间库数据上报给第二cmdb系统，上报支持数据的增删改查，上报完成的返回数据。批号;

　　23.数据状态查询接口包括：根据数据批号查询数据处理状态，保证数据提交的准确性，并提供数据提交日志查询提交状态。

　　24.第二方面，提供了一种cmdb数据自动校验采集的方法，该方法包括：

　　25.步骤s1：cmdb数据的自动校验采集系统根据采集校验映射表采集对第一个cmdb系统配置项的初始数据进行自动化校验@>;

　　26.步骤s2：根据采集校验映射表的定义对采集的配置项的初始数据进行处理，用于数据批量处理和自动数据校验；

　　27.步骤s3：将数据校验通过的配置项数据根据采集中第一cmdb系统与第二cmdb系统配置项模型映射关系的映射关系自动映射到数据库中@> 映射表；数据校验的配置项数据会输出采集日志，供用户查看和修改数据校验问题。

　　28. 优选地，步骤s2包括：

　　29.根据采集校验映射表判断是否需要批处理，如果需要，进行批处理；不

　　然后直接进入数据验证流程；

　　30. 然后根据数据校验规则进行数据校验，依次是数据规范校验、逻辑校验和一致性校验。

　　31.与现有技术相比，本发明具有以下有益效果：

　　32.1、本发明中cmdb数据自动校验采集系统与cmdb系统解耦，可适配多组cmdb模型，有利于分支cmdb数据上报和监管数据在提交等场景下很容易实现集成；

　　33.2、根据cmdb系统各配置项的模型规则，对数据进行自动校验，包括数据的规范性校验、逻辑性校验、一致性校验，从而规范cmdb 数据的质量；

　　34.3、通过数据校验的配置项数据根据模型映射关系自动映射到数据库中，通过restful api接口实现cmdb数据的高效自动上报，从而完成不同组织的整合。自动校验cmdb间数据采集。

　　图纸说明

　　35.本发明的其他特征、目的和优点将通过参考以下附图阅读非限制性实施例的详细描述而变得更加明显：

　　36. 图。附图说明图1是本发明的整体框架图；

　　37. 图。图2为本发明自动采集验证模块*敏*感*词*；

　　38. 图。图3为本发明采集验证映射表*敏*感*词*；

　　39. 图。图4为本发明的执行流程图。

　　详细说明

　　40.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域技术人员进一步理解本发明，但不以任何形式限制本发明。需要说明的是，对于本领域的技术人员来说，在不脱离本发明构思的情况下，可以进行若干变化和改进。这些均属于本发明的保护范围。

　　41.本发明实施例提供一种cmdb数据自动校验系统采集，实现与cmdb系统解耦，利用cmdb数据采集进行数据自动校验，从而解决了多个cmdb系统之间配置项定义不一致、数据规则不一致的问题。参考图1，系统包括：自动验证采集模块和报告模块。

　　42. 具体参考图2和图3，自动校验采集模块：负责自动校验第一个cmdb系统配置项数据采集，包括配置项采集初始数据、处理单元和数据验证单元。

　　43.其中，配置项采集的初始数据，处理单元根据采集校验映射对第一个cmdb系统配置项的初始数据进行自动化处理表采集，以及配置项初始数据的批处理是根据采集验证映射表进行的，由定时任务采集和定时任务控制加工程序自动执行。

　　44.配置项采集的初始数据包括可以直接获取的值和通过函数动态获取的值，其中直接获取的值是第一个cmdb系统对应的ci验证映射表根据采集可以直接通过item字段获取数据值；函数获取的值是当采集验证映射表中第一个cmdb系统对应的ci项字段以“fun_”开头时，无法直接获取值，则根据“fun_xx”函数name，对应的值是通过程序动态处理得到的。

　　45.根据采集校验映射表中的“批处理”标记进行配置项的初始数据处理，如果为真

　　执行批处理，不执行false。批处理是根据规范验证规则中的数据类型和值域要求对数据进行简单的批处理。例如，浮点数据的小数位根据校验规则自动填充或修整，日期和时间数据。根据验证规则，自动生成匹配规则对应的类型数据，满足基本验证规则。

　　46.采集校验映射表包括第一cmdb系统和第二cmdb系统的配置项和字段的一一映射关系、数据获取方式、是否进行批处理，以及数据验证规则等。

　　47. 数据校验单元根据配置的数据校验规则进行数据校验，满足第二cmdb系统的数据采集要求。数据校验规则由第二个cmdb系统的配置项模型负责人通过页面配置或excel表格导入制定。

　　48.数据校验规则包括规范校验、逻辑校验、数据一致性校验。

　　49. 其中，规范验证包括数据必填项验证、数据类型验证、数据范围验证。数据必填字段校验是根据校验规则“必填”判断数据是否为空。如果不需要，则允许为空。如果需要，则不允许为空；数据类型校验是判断数据值是否满足类型要求。如果要求是“int”，则必须是整数数据，其他类型会验证失败；数据值字段校验是判断数据长度是否符合要求，如果要求为“i1..4”，则整数数据长度大于1位小于4位。如果不满意，

　　50.逻辑校验是判断配置项数据的取值是否符合校验规则制定的逻辑事实。如果逻辑校验规则为“<=256”，则该字段的值必须满足小于等于256的要求，否则校验失败。

　　51.一致性检查是判断具有关联关系的配置项是否存在于具有关联关系的配置项中。如果指定为“in xx.xx”，则数据项的值必须在具体的配置项中。存在于特定字段中，否则验证失败。

　　52.第二个cmdb系统配置项模型的负责人可以根据需要制定规则，不限于以上验证规则。同时提供数据采集日志，方便第一个cmdb系统配置项的管理员查询数据校验问题，以便尽快更正数据，满足校验规则。数据校验通过的配置项数据存储在中间库中，供上报模块进行数据上报。

　　53.上报模块：上报数据校验通过的配置项数据，以restful api的形式完成第二个cmdb系统配置项数据的采集，包括数据上报界面和数据状态查询界面。数据上报接口负责将中间数据库数据上报到第二个cmdb系统，上报支持增、改、删数据，上报返回数据的批号。数据状态查询接口是根据数据批号查询数据处理状态，保证数据提交准确。同时提供数据提交日志，用于查询提交状态。

　　54.参见图4，本发明还提供了一种cmdb数据自动校验的方法采集，具体步骤包括：

　　55.1、通过cmdb自动校验数据采集系统根据采集校验映射自动完成第一个cmdb系统配置项采集的初始数据桌子。

　　5 6.2、采集的配置项的初始数据根据采集校验映射表的定义进行数据批处理和自动数据校验；首先，根据采集验证映射表判断是否需要批处理，如果需要进行批处理；否则，直接进入数据验证流程，然后按照数据验证规则进行数据验证，然后进行数据规范验证和逻辑验证。以及一致性校验等，即如果前者校验通过，则执行后者校验。如果前者失败，则中止检查过程并且输出检查失败。

　　57.3、根据采集映射表的第一cmdb系统和第二cmdb系统配置数据校验通过的配置项数据。

　　设置项目模型映射关系，自动将数据映射到数据库中；未通过数据校验的配置项数据将输出采集日志，供用户查看和修改数据校验问题。

　　58.4、cmdb自动校验采集系统通过restful api提交校验后的配置项数据，并提交对数据增删改查的支持。这样就完成了第二个cmdb系统对第一个cmdb系统的配置项数据的采集。

　　59.本发明实施例提供了一种cmdb数据自动校验的系统及方法采集，实现了多组cmdb系统采集之间的数据自动校验。解决了不同机构间cmdb系统配置项数据模型定义不一致的问题，提高了机构间cmdb数据采集和聚合的效率；二是提供完整的、可定制的数据验证规则，针对配置项的每个字段进行定义。各自的数据规则用于提高cmdb数据采集的质量。

　　60. 本领域技术人员知道，本发明除了以纯计算机可读程序代码的形式实现本发明提供的系统及其各种装置、模块和单元外，还可以完全对本发明提供的方法步骤进行逻辑编程。该系统及其各种器件、模块和单元以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入式微控制器的形式实现相同的功能。因此，本发明所提供的系统及其各种设备、模块和单元可以看作是一种硬件部件，其中收录的用于实现各种功能的设备、模块和单元也可以看作是硬件部件。设备，

　　61. 以上对本发明的具体实施方式进行了说明。应当理解，本发明不限于上述具体实施方式，本领域的技术人员可以在权利要求的范围内进行各种改动或变型而不影响本发明的实质内容。本技术的实施例和实施例中的特征可以相互任意组合而不冲突。