原创智能优化,原创度检查,一键采集,文章组合( 外购正是数据资产管理平台产品信息架构分模块分析)

　　原创智能优化,原创度检查,一键采集,文章组合(

外购正是数据资产管理平台产品信息架构分模块分析)

　　

　　目前，公司正在进行数据治理，准备购买数据资产管理平台，接管公司的数据资产。为了找到合适的产品，首先需要了解企业自身的痛点，然后根据痛点考察竞品的功能。本文就是基于这个思路进行分析。

　　一、痛点和需求

　　在实际的数据管理中，我们经常会遇到这样的问题：

　　针对以上问题，细化了以下需求点：

　　二、竞品分析

　　分析A、B、C、D四家数据资产供应商，首先从数据治理系统对每个产品进行概述描述，然后对核心功能模块进行分析比较，最后得出结论。

　　2.1 A

　　2.1.1 数据资产管理平台产品信息架构

　　

　　接下来简单介绍一下子模块中的产品功能

　　2.1.1.1 数据访问

　　支持大数据环境下Oracle、Mysql、SqlServer等关系型数据库、mongodb数据库和Hive、HBase、HDFS分布式数据库的访问和管理，支持Excel补录数据，实现结构化数据与非结构化数据的统一采集.

　　2.1.1.2元数据

　　可定制元数据，系统自动采集元数据（增量更新），元数据可检索和维护（字段级），当数据模型发生变化时，可动态感知元数据并生成感知日志

　　血缘分析：支持血缘分析的自动分析和手动维护；血缘关系分析方法：影响分析、血缘关系分析、全链分析；分析内容：数据库表字段血缘关系，不支持处理逻辑分析

　　

　　2.1.2 数据标准

　　A、在构建数据标准时，数据标准分为数据标准制定+标准实施评估两部分。

　　标准制定分为枚举项标准和数据元标准，两者都是常用的业务术语，具体如下：

　　数据字典是静态数据的明确标准分类，供元数据和模型配置参考。字典中收录的字段可根据需要自定义，灵活性高

　　数据标准执行评估，评估方式为后评估：将数据标准直接发给数据模型，采用人工/定时任务法评估模型是否符合标准及标准执行的具体情况

　　2.1.2.1 数据建模与同步处理

　　首先新建一个数据分类，主要是从非业务的角度对数据资源进行分类和管理

　　支持五种数据建模方式：新建、抽取、映射、导入、融合，以及主子表的复合模型建模。支持标注模型、编辑模型字段的属性、查看库表结构。可以启用模型审核流程，模型审核后才能生效。模型每次生效都会生成一个新版本，支持不同版本之间的比较。在建模初始化时，模型的修改不会产生版本记录，减少脏数据的产生。

　　支持数据模型的配置和管理，包括模型属性配置和页面显示配置。在，

　　在数据管理模块中，可以维护和查看数据模型的具体属性值。他们之中，

　　在数据融合模块中，支持数据模型的同步和处理。他们之中，

　　对于非结构化数据，在文件管理模块中查看和维护；支持文件元数据定义，支持办公系列、txt、图片、pdf类型、音视频文件上传、预览、下载和删除；支持服务器磁盘、HDFS、HBASE等多种文件存储方式。

　　2.1.2.2 数据质量

　　A的数据质量包括质量规则管理、质量落地评价、质量预警三大功能。在，

　　制定质量规则的对象是单个字段或单个模型，不支持批量操作

　　2.1.2.3 数据资产图

　　数据资产图由资产图和资产盘点两部分组成

　　2.1.2.4 数据服务

　　数据服务用于平台与第三方的数据交互：当第三方查询/更新平台数据时，提供接口服务。

　　支持服务调用者管理和加密传输，支持交互数据的字段和值映射，支持查看交换日志

　　2.1.2.5 数据安全

　　数据安全主要是访问控制，还包括密级控制、脱敏和加密。在权限控制方面，支持在权限视图中查询和查看数据库权限、数据分类权限、字段权限、行权限、按钮权限控制、特定数据权限和用户权限查询。

　　2.2 乙

　　2.2.1 数据治理系统-多平台

　　

　　接下来简单介绍一下子模块中的产品功能

　　2.2.1.1 数据访问

　　支持关系数据库类型：MariaDB、DB2、Gauss DB、GBase、SAP HANA、MaxCompute、MySQL、Oracle、Postgre SQL、HAWQ、SQLServer、Teradata等。

　　支持的非关系型数据库：Cassandra、HIVE、Mongo DB等。

　　2.2.1.2元数据

　　元数据自动采集，无需配置采集任务

　　支持自定义元数据属性；支持元数据参考数据标准；支持手动维护血缘关系

　　提供智能标签服务系统，通过定义标签规则自动对数据进行标签化，标签可作为检索条件检索元数据和数据资产

　　元数据分类维度包括三个方面：业务部门、IT部门和业务领域。元数据检索/查看粒度包括系统、库、模式、表/视图、字段、存储过程和函数。视图可以查看对应的SQL语句、解析表和视图

　　支持定义业务实体和业务流程，从实际业务场景的角度盘点元数据，并在数据建模平台中引用

　　对于用户在数据资产管理平台上提交的数据需求，收录，在元数据模块中进行分析和管理

　　支持血缘分析和影响分析，元数据血缘分析可以分析处理过程

　　2.2.2 数据标准

　　B的数据标准体系分为基础标准和指标体系，其中，

　　从业务属性、技术属性、管理属性三个方面支持各项数据标准的维护

　　支持查看各数据标准的参考状态、版本历史、开发审核状态

　　数据标准的实施支持事前控制和事后评价，其中，

　　2.2.2.1 数据建模

　　数据建模平台通过可视化的ER图实现数据标准在数据库设计中的应用。支持多人协作数据建模，跨部门共享数据模型。

　　2.2.2.2 数据质量

　　B 数据质量规则包括完整性、准确性、一致性、可用性、合规性等规则，支持自定义规则

　　根据需求选择相应的质量规则后，生成检验任务和修复任务

　　驾驶舱显示整个资产的质量问题等。

　　2.2.2.3个数据资产

　　本数据资产地图针对的是内部技术人员，其中

　　2.2.2.4 数据服务

　　数据资产目录平台主要面向业务人员。基于统一的数据授权，提供统一的数据资产接入平台。

　　2.3 C

　　2.3.1 数据治理平台产品信息架构

　　

　　接下来简单介绍一下子模块中的产品功能

　　2.3.1.1 数据访问/集成

　　支持数据库的数据采集适配器、报表工具、ETL工具、主流关系型/非关系型数据库，关系型包括MySQL、Oracle、MaxCompute等，非关系型包括MongoDB、Hive、HBase、HDFS、等EXCEL导入，支持采集文件

　　2.3.1.2元数据

　　支持元模型设计，包括基本信息、属性、父类、子类、组合、组合、依赖、依赖等。

　　基于设计的元模型，配置元数据采集任务：①首先配置采集的来源，②设置采集的任务，③存储审计，④检查日志采集。系统第一次为采集时，可以进行入库审核操作，支持采集的部分表，勾选部分字段进入平台库

　　在元数据管理方面，支持对采集接收到的新元数据进行编辑和添加，以及元数据检查，包括一致性检查（检查最新的元数据是否与数据源中的数据一致），组合关系缺失检查（与元模型相比）、属性填充率检查、元数据标准覆盖率检查、检查异常管理、配置检查任务。血缘分析支持人工维护；支持查看元​​数据版本变更记录；支持为元数据添加数据标准映射（手动和智能推荐映射）

　　在元数据应用中，血缘关系分析包括影响分析、血缘关系分析、全链分析、相关性分析、属性值差异分析、元数据对比分析、重复元数据分析；支持分析加工过程；支持元数据检索，搜索粒度包括系统、库、域、表、字段、索引等。

　　

　　2.3.1.3 数据标准

　　数据标准体系包括基础数据标准和通用数据标准两部分。在，

　　在增删改查数据标准时，从业务属性、技术属性、管理属性三个方面进行操作

　　数据标准审核通过后，可作为最终数据标准发布，方可使用；支持查看历史版本

　　数据标准的实施只支持事后评估

　　2.3.1.4 数据质量

　　数据质量规则支持有效性、准确性、完整性、一致性、及时性和偏差审计规则

　　规则配置支持条件过滤、权重配置

　　任务调度计划配置完成后，可以在数据质量监控模块中查看执行结果；支持预警机制的开发，并通过电子邮件/短信通知收件人

　　2.3.1.5 数据资产

　　从业务角度对数据资产进行盘点展示，支持定义数据资产编目；支持查看数据表的数据库表结构和字段值，并记录查看和交换数据表的次数

　　可以利用数据资产生命周期对数据进行归档，归档机制一般在时间维度维护

　　2.3.1.6 数据服务

　　通过接口实现数据交互，通过访问控制授权访问

　　数据安全包括权限、脱敏和加密

　　三、核心功能对比

　　通过对每个产品的纵向分析，可以了解每个产品的基本功能，然后进行横向分析，比较每个产品在元数据、数据标准、数据质量、数据建模、数据资产、数据服务等六大功能. 模块性能及对比结果如下表所示。

　　3.1 元数据

　　

　　总结：

　　在元数据管理中，最基本的要求是描述数据的基本信息（业务/技术/管理元数据）和分析数据的来龙去脉（血缘关系分析）。衍生需求是元数据、变更记录、审计、补充记录维护、下载等的父/子标准。

　　从元数据采集到整个应用流程，四家公司的基本功能大致相同。

　　3.2 数据标准

　　

　　总结：

　　对数据标准的需求可以分为数据标准制定和数据标准实施两部分。在数据标准的制定中，数据标准可以分为基础数据标准（行业/业务词汇、参考数据、与主数据相关的标准业务术语）、应用数据标准（指标体系）、命名规则（表/字段命名）规则）。在数据标准的执行上，分为事前控制和事后评估。

　　3.3 数据质量

　　

　　总结：

　　数据质量构建包括质量规则制定和质量规则实施评估两个方面。

　　3.4 数据建模

　　

　　总结：

　　数据建模包括模型设计和模型管理两个方面。

　　3.5 数据资产

　　数据资产方面，B和C的数据资产地图内容比较丰富，A一般

　　3.6 数据安全与服务

　　在数据安全与服务模块，四款产品的功能基本相同，都提供了权限方案、安全级别、脱敏加密等功能。

　　四、总结

　　本文由@细闻穗薇原创发布给大家是产品经理，未经许可禁止转载

　　标题图片来自Unsplash，基于CC0协议

　　给作者一个奖励，鼓励他努力！

　　称赞