采集规则 采集 data-src(【技术实现步骤摘要】一种政务数据采集流程的实现方法)

　　采集规则 采集 data-src(【技术实现步骤摘要】一种政务数据采集流程的实现方法)

　　本发明专利技术提供了一种实现政务数据处理采集的方法，属于数据共享技术领域。针对数据安全和数据质量存在安全隐患，阻碍政府部门共享数据的问题，技术方案包括：定义目录信息，对不同政府部门的数据进行分类管理；根据定义的目录信息系统或ETL工具梳理现有的政府数据交换，构建数据交换采集系统；定义质量规则，验证数据交换系统采集的数据，出具质量检验报告；对验证后的数据进行评估评估，出具数据质量绩效报告；根据目录信息和质量规则，定义脱敏规则；进行数据库对接和服务对接。该方法可以实现数据安全，保证共享数据的质量，加强政府各部门之间的信息化建设，提高工作效率。

　　下载所有详细的技术数据

　　【技术实现步骤总结】

　　一种政务数据采集流程的实现方法

　　该专利技术涉及数据采集共享

　　，具体是一种实现政务数据处理的方法采集。

　　技术介绍

　　在信息系统建设过程中，建立统一的数据共享平台，实现各部门之间数据的统一共享和流通成为趋势。然而，出于数据安全和数据质量的考虑，政府部门共享数据的决心和力度往往受到阻碍。

　　技术实现思路

　　该专利技术的技术任务是解决现有技术的不足，有效保障政府数据共享过程中的安全，消除数据提供者对数据安全和数据用户对数据质量的担忧，促进共享和共享。政府数据开放。提供一种实现政务数据处理采集的方法。该专利技术解决其技术问题所采用的技术方案是：一种实现政务数据处理采集的方法，包括：定义目录信息；构建数据交换采集系统；验证交换系统采集的数据，出具质检报告；建立数据质量评估模型，对通过验证的数据进行评估，并出具数据质量绩效报告；依托目录信息和质量规则，定义脱敏规则；进行数据库对接和服务对接。定义目录信息的具体内容包括：根据政府部门的职能定义相应的目录信息；属于同一政府部门的目录信息具有不同的标识信息；属于不同政府部门的目录信息具有唯一的标识信息。进一步地，每条目录信息包括至少一个元数据成分。构建数据交换采集系统的操作包括：根据已经定义的目录信息，结合现有的政府数据交换系统或ETL工具，并通过增量或完整的采集现有政府数据交换系统或ETL Tool数据，将采集后的数据存储到数据交换采集系统中。定义质量规则所涉及的操作过程包括：根据至少一个目录信息中收录的元数据定义相应的检验规则；将检查规则与同一政府部门的剩余目录信息绑定，并解释检查规则对应的元数据。进行验证；将合格的元数据发送给评估模型，记录不合格的元数据，并根据记录的结果出具质量检验报告。到数据交换采集系统。定义质量规则所涉及的操作过程包括：根据至少一个目录信息中收录的元数据定义相应的检验规则；将检查规则与同一政府部门的剩余目录信息绑定，并解释检查规则对应的元数据。进行验证；将合格的元数据发送给评估模型，记录不合格的元数据，并根据记录的结果出具质量检验报告。到数据交换采集系统。定义质量规则所涉及的操作过程包括：根据至少一个目录信息中收录的元数据定义相应的检验规则；将检查规则与同一政府部门的剩余目录信息绑定，并解释检查规则对应的元数据。进行验证；将合格的元数据发送给评估模型，记录不合格的元数据，并根据记录的结果出具质量检验报告。将检查规则与同一政府部门的剩余目录信息绑定，并解释检查规则对应的元数据。进行验证；将合格的元数据发送给评估模型，记录不合格的元数据，并根据记录的结果出具质量检验报告。将检查规则与同一政府部门的剩余目录信息绑定，并解释检查规则对应的元数据。进行验证；将合格的元数据发送给评估模型，记录不合格的元数据，并根据记录的结果出具质量检验报告。

　　涉及的检查规则包括数据完整性规则、数据唯一性规则、数据准确性规则、数据一致性规则和数据规范化规则。所涉及的评估评估模型按照月、季、年的持续时间进行数据评估评估，包括：评估评估模块1，用于评估通过验证的数据的目录信息；数据是否符合其所属目录信息的质量规则；第三评估模块用于评估验证通过的数据的更新速度是否及时。所涉及的脱敏规则定义包括：根据质量规则，对目录信息中收录的元数据中的不同字段定义脱敏规则；目录信息中用于唯一标识身份信息的字段的绑定规则；对目录信息中收录的元数据进行脱敏，脱敏结果记录在脱敏数据库中。涉及的脱敏规则包括加密/解密、屏蔽、替换、散列、排序和置换。所涉及的数据库对接是借助ETL工具将脱敏数据库中的数据直接交换到数据交换采集系统；所涉及的服务对接是将数据交换采集系统的数据直接发布到API服务中。API完成了各个政府部门与数据交换采集系统之间的数据连接。与现有技术相比，本专利技术的政务数据采集流程实施方法的有益效果是：本专利技术的实施方法采用定义目录信息和构建数据交换的方法采集系统完成数据采集阶段的安全保护分两步，通过定义质量规则、建立数据质量评估模型、定义基于目录信息和质量规则的脱敏规则三个步骤完成数据安全保护。消除了数据提供者的顾虑，实现了更广泛的数据共享，对政府信息化建设具有重要意义。专利技术的实现方法采用定义目录信息和构建数据交换的方法采集系统分两步完成数据采集阶段的安全保护，通过三步完成数据安全保护步骤：定义质量规则，构建数据质量评估模型，根据目录信息和质量规则定义脱敏规则。消除了数据提供者的顾虑，实现了更广泛的数据共享，对政府信息化建设具有重要意义。专利技术的实现方法采用定义目录信息和构建数据交换的方法采集系统分两步完成数据采集阶段的安全保护，通过三步完成数据安全保护步骤：定义质量规则，构建数据质量评估模型，根据目录信息和质量规则定义脱敏规则。消除了数据提供者的顾虑，实现了更广泛的数据共享，对政府信息化建设具有重要意义。通过定义质量规则、构建数据质量评估模型、定义基于目录信息和质量规则的脱敏规则三个步骤完成数据安全保护。消除了数据提供者的顾虑，实现了更广泛的数据共享，对政府信息化建设具有重要意义。通过定义质量规则、构建数据质量评估模型、定义基于目录信息和质量规则的脱敏规则三个步骤完成数据安全保护。消除了数据提供者的顾虑，实现了更广泛的数据共享，对政府信息化建设具有重要意义。

　　附图说明图。图1为本专利技术的方法流程图；如图。图2为本专利技术中步骤S30的流程图；如图。图3是专利技术中评价模型的结构框图；本技术中步骤S50的流程图。附图中的每个数字表示：1、评估评估模块一，2、评估评估模块二，3、评估评估模块三。具体实施方式下面结合附图1-4详细描述根据专利技术实现政务数据采集处理的方法。如图所示。1、本专利技术提供了一种实现政务数据处理采集的方法，其结构包括： S10：定义目录信息；S20：搭建数据交换采集系统；S30：定义质量规则，验证数据交换系统采集的数据，出具质检报告；S40：建立数据质量评价模型，对通过验证的数据进行评价和评价，出具数据质量绩效报告；S50：根据目录信息和质量规则定义脱敏规则；S60：进行数据库对接和服务对接。在本实施例中，步骤S10中定义目录信息的具体内容包括：根据政府部门的职能定义相应的目录信息；属于同一政府部门的目录信息具有不同的标识信息；属于不同政府部门的目录信息具有唯一的标识信息。需要说明的是，在步骤S10中，每条目录信息包括至少一个元数据成分。以政府*敏*感*词*部门为例，*敏*感*词*局居民的*敏*感*词*信息包括姓名、性别、民族、*敏*感*词*号、出生日期、家庭住址等多个元数据。多个元数据形成一个完整的信息，我们称之为目录信息，也可以具体定义为*敏*感*词*局目录信息。属于不同政府部门的目录信息具有唯一的标识信息。需要说明的是，在步骤S10中，每条目录信息包括至少一个元数据成分。以政府*敏*感*词*部门为例，*敏*感*词*局居民的*敏*感*词*信息包括姓名、性别、民族、*敏*感*词*号、出生日期、家庭住址等多个元数据。多个元数据形成一个完整的信息，我们称之为目录信息，也可以具体定义为*敏*感*词*局目录信息。属于不同政府部门的目录信息具有唯一的标识信息。需要说明的是，在步骤S10中，每条目录信息包括至少一个元数据成分。以政府*敏*感*词*部门为例，*敏*感*词*局居民的*敏*感*词*信息包括姓名、性别、民族、*敏*感*词*号、出生日期、家庭住址等多个元数据。多个元数据形成一个完整的信息，我们称之为目录信息，也可以具体定义为*敏*感*词*局目录信息。

　　当然，我们也可以根据其他政府部门定义其他目录信息，比如医疗、交通、工商等，如果描述为个人，应该是通过*敏*感*词*信息采集与所有政府部门相关的数据。属于同一政府部门的目录信息必须通过*敏*感*词*信息的元数据进行区分。在本实施例中，步骤S20中构建数据交换采集系统的操作具体包括：根据定义的目录信息，结合现有的政府数据交换系统或ETL工具，以增量或全量的方式采集来自现有政府数据交换系统或ETL工具的数据，并将采集后的数据存储到数据交换< @采集 系统。增量采集主要是根据数据库中表结构的时间戳来实现增量数据采集；full 采集 是每次 采集 的一次性删除和插入。在本实施例中，参考图1。如图2所示，步骤S30定义质量规则的操作过程包括： S31：根据至少一个目录信息中收录的元数据定义相应的检查规则，检查规则包括数据完整性规则、数据唯一性规则、数据准确性规则、数据一致性规则、数据规范性规则；S32：将巡检规则与同一政府部门的其他目录信息绑定，对巡检规则对应的元数据进行校验；S33：将检查规则与同一政府部门的其余目录信息绑定；将合格的元数据发送给评估模型，记录不合格的元数据，并根据记录的结果出具质检报告。步骤S30以居民*敏*感*词*信息为例，定义质量规则，首先要定义*敏*感*词*号码的数据完整性规则，定义*敏*感*词*号码15位和18位长度的检查规则。借助正则表达式的*敏*感*词*号码（[0-9] {18}|[0-9]{17}X|[0-9]{15}）；然后，将上述*敏*感*词*号码的完整性规则绑定到同一政府部门的目录信息中的*敏*感*词*信息元素，如果检查合格，即信息采集 符合质量规则，送入评价模型；如果检验不合格，则记录元数据和元数据所属的元数据目录信息，检验完成后，根据记录的结果出具质检报告。

　　需要补充的是，检查规则除了使用正则表达式外，还可以用js、python等脚本语言编写。在本实施例中，参考图1。如图3所示，步骤S40中的评估评估模型根据月、季、年的持续时间进行数据评估评估，包括：评估评估模块1 1，用于评估验证数据所属目录信息; 评估与评估模块2 2 用于评估通过验证的数据是否符合其所属目录信息的质量规则；评估和评估模块3 3 用于评估通过验证的数据的更新速度是否及时。在本实施例中，参考图1。4、步骤S50中定义脱敏规则包括： S51：根据质量规则，对目录信息中收录的元数据中的不同字段定义脱敏规则。S52：对唯一的目录信息脱敏A绑定规则应用于标识身份信息的字段；S53、根据脱敏规则，对目录信息中收录的元数据进行脱敏，并将脱敏结果记录在脱敏数据库中。涉及的脱敏规则包括加密/解密、屏蔽、替换、散列、排序 为唯一的目录信息脱敏 对标识身份信息的字段应用绑定规则；S53、根据脱敏规则，对目录信息中收录的元数据进行脱敏，并将脱敏结果记录在脱敏数据库中。涉及的脱敏规则包括加密/解密、屏蔽、替换、散列、排序 为唯一的目录信息脱敏 对标识身份信息的字段应用绑定规则；S53、根据脱敏规则，对目录信息中收录的元数据进行脱敏，并将脱敏结果记录在脱敏数据库中。涉及的脱敏规则包括加密/解密、屏蔽、替换、散列、排序

　　【技术保护点】

　　1.一种政务数据流程的实现方法采集，其特征在于，包括：定义目录信息；构建数据交换采集系统；@> 核实资料，出具质检报告；建立数据质量评价模型，对通过验证的数据进行评价，出具数据质量绩效报告；根据目录信息和质量规则定义脱敏规则；进行数据库对接和服务对接。

　　【技术特点总结】

　　1.一种政务数据流程的实现方法采集，其特征在于，包括：定义目录信息；构建数据交换采集系统；@> 核实资料，出具质检报告；建立数据质量评价模型，对通过验证的数据进行评价，出具数据质量绩效报告；根据目录信息和质量规则定义脱敏规则；进行数据库对接和服务对接。2.根据权利要求1所述的实现政务数据处理采集的方法，其特征在于，所述定义目录信息的具体内容包括： 根据政府部门的职能定义对应的目录信息；属于同一政府部门的目录信息具有不同的标识信息；属于不同政府部门的目录信息具有唯一的标识信息。3.根据权利要求1所述的一种实现政务数据处理的方法采集，其特征在于，每条目录信息包括至少一个元数据组成。4.根据权利要求1所述的一种政务数据处理采集的实现方法，其特征在于，构建数据交换采集系统的操作包括：整理已定义的目录信息现有政府数据交换系统或ETL工具，通过增量或全量采集来自现有政府数据交换系统或ETL工具的数据，并将采集之后的数据存储到数据交换采集系统中。5.根据权利要求3所述的实现政务数据采集流程的方法，其特征在于，所述定义质量规则的操作过程包括： 根据至少一个目录信息中收录的元数据定义对应的检查规则；将巡查规则与同一政府部门的剩余目录信息进行绑定，并对巡查规则对应的元数据进行校验；将合格的元数据发送到评估评估模型，并记录验证失败... 其中，定义质量规则的操作过程包括：根据至少一个目录信息中收录的元数据定义相应的检验规则；将巡查规则与同一政府部门的剩余目录信息进行绑定，并对巡查规则对应的元数据进行校验；将合格的元数据发送到评估评估模型，并记录验证失败... 其中，定义质量规则的操作过程包括：根据至少一个目录信息中收录的元数据定义相应的检验规则；将巡查规则与同一政府部门的剩余目录信息进行绑定，并对巡查规则对应的元数据进行校验；将合格的元数据发送到评估评估模型，并记录验证失败...

　　【专利技术性质】

　　技术研发人员：潘震，

　　申请人（专利权）持有人：，

　　类型：发明

　　国家、省、市：山东，37

　　下载所有详细的技术数据 我是该专利的所有者