采集内容管理平台( 外购正是数据资产管理平台产品信息架构分模块分析)

　　采集内容管理平台(

外购正是数据资产管理平台产品信息架构分模块分析)

　　

　　目前，公司正在进行数据治理，准备外包一个数据资产管理平台，承接公司数据资产。要想找到合适的产品，首先要了解公司自身的痛点，然后根据痛点去考察各个竞品的功能。本文就是基于这个思路进行分析。

　　一、痛点与需求

　　在实际数据管理中，经常会遇到以下问题：

　　针对以上问题，提取如下需求：

　　二、竞争分析

　　分析A、B、C、D四家数据资产供应商。首先从数据治理体系对各个产品进行概述描述，然后对核心功能模块进行分析比较，最后得出结论。

　　2.1 个

　　2.1.1 数据资产管理平台产品信息架构

　　

　　以下子模块简要介绍产品功能

　　2.1.1.1 数据访问

　　支持Oracle、Mysql、SqlServer等关系型数据库、mongodb数据库以及大数据环境下的Hive、HBase、HDFS分布式数据库的访问和管理，支持Excel补充数据，实现结构化和非结构化数据的统一。采集。

　　2.1.1.2 元数据

　　可自定义元数据，系统自动采集元数据（增量更新），元数据可检索和维护（字段级），当数据模型发生变化时，可动态感知元数据并生成日志

　　血统分析：支持血统关系的自动分析和手动维护；血脉分析方法：影响分析、血脉分析、全链分析；分析内容：数据库表字段之间的血缘关系，不支持处理逻辑分析

　　

　　2.1.2 数据标准

　　A 在构建数据标准时，数据标准分为数据标准制定+标准实施评估两部分。

　　标准制定分为枚举项标准和数据元标准，均为公共业务术语，具体如下：

　　数据字典是在元数据和模型配置中引用的静态数据的确定性标准分类。字典中收录的字段可根据需求自定义，灵活性高

　　数据标准执行评估，评估方式为事后评估：直接向数据模型下达数据标准，通过人工/定时任务来评估模型是否符合标准，以及标准执行的具体情况

　　2.1.2.1 数据建模与同步处理

　　一、新建数据分类，主要是从非业务角度对数据资源进行分类管理

　　支持新建、提取、映射、导入、融合五种数据建模方式，支持主表和子表的复合模型建模。支持标记模型、编辑模型字段属性和查看库表结构。可以启用模型审核流程，之后模型才能生效。模型每次生效都会生成一个新版本，支持不同版本之间的对比。在建模初始化时，模型的修改不会产生版本记录，减少脏数据的产生。

　　支持数据模型配置管理，包括模型属性配置和页面显示配置。在，

　　在数据管理模块中，可以维护和查看数据模型的具体属性值，其中，

　　数据融合模块支持数据模型的同步和处理，其中，

　　对于非结构化数据，可以在文件管理模块中查看和维护；支持文件元数据定义，支持office系列、txt、图片、pdf类型、音视频的文件上传、预览、下载和删除；支持服务器磁盘、HDFS、HBASE等文件存储方式

　　2.1.2.2 数据质量

　　A的数据质量包括三个功能：质量规则管理、质量落地评估、质量预警。在，

　　制定质量规则的对象是单个字段或单个模型，不支持批量操作

　　2.1.2.3 数据资产图

　　数据资产图由两部分组成：资产图和资产清单

　　2.1.2.4数据服务

　　数据服务用于平台与第三方之间的数据交换：第三方查询/更新平台数据时，提供接口服务。

　　支持服务调用者管理和加密传输，支持交互数据的字段和值映射，支持查看交换日志

　　2.1.2.5 数据安全

　　数据安全主要是访问控制，还包括安全级别控制和脱敏加密。在权限控制方面，支持数据库权限、数据分类权限、字段权限、行权限、按钮权限的管控。

　　2.2 乙

　　2.2.1 数据治理系统——多平台

　　

　　以下子模块简要介绍产品功能

　　2.2.1.1 数据访问

　　支持关系型数据库类型：MariaDB、DB2、Gauss DB、GBase、SAP HANA、MaxCompute、MySQL、Oracle、Postgre SQL、HAWQ、SQLServer、Teradata等。

　　支持的非关系型数据库：Cassandra、HIVE、Mongo DB 等。

　　2.2.1.2 元数据

　　元数据自动采集，无需配置采集任务

　　支持自定义元数据属性；支持元数据参考数据标准；支持手动维护血缘关系

　　提供智能标注服务系统，通过定义标注规则自动标注数据，标签可作为检索条件，检索元数据和数据资产

　　元数据分类维度包括业务部门、IT部门、业务领域三个方面。元数据检索/视图粒度包括系统、库、模式、表/视图、字段、存储过程和函数。视图可以查看对应的SQL语句、解析后的表和视图

　　支持业务实体和业务流程的定义，从实际业务场景的角度盘点元数据，参考数据建模平台

　　对于用户在数据资产管理平台收录上提交的数据需求，在元数据模块中进行分析和管理

　　支持血缘分析和影响分析，元数据血缘分析可以解析出处理过程

　　2.2.2 数据标准

　　B的数据标准体系分为基础标准和指标体系，其中，

　　支持从业务属性、技术属性和管理属性三个方面维护各个数据标准

　　支持查看每个数据标准的引用、版本历史和开发审查状态

　　数据标准的实施支持事前控制和事后评估，其中，

　　2.2.2.1 数据建模

　　数据建模平台通过ER图可视化的方式，实现数据标准在数据库设计中的应用。支持多人协作的数据建模跨部门共享数据模型。

　　2.2.2.2 数据质量

　　B数据质量规则包括完整性、准确性、一致性、可用性、合规性等规则，并支持自定义规则

　　根据需求选择相应的质量规则后，生成检验任务和维修任务

　　驾驶舱在整个资产中显示质量问题等

　　2.2.2.3 数据资产

　　此数据资产图适用于内部技术人员，包括

　　2.2.2.4 数据服务

　　数据资产目录平台主要供业务人员使用。基于统一的数据授权，提供统一的数据资产接入平台。

　　2.3℃

　　2.3.1 数据治理平台产品信息架构

　　

　　以下子模块简要介绍产品功能

　　2.3.1.1 数据访问/集成

　　支持数据库、报表工具、ETL工具等数据采集适配器，主流关系/非关系数据库，关系类型包括MySQL、Oracle、MaxCompute等，非关系类型包括MongoDB、Hive、HBase、HDFS等EXCEL导入，支持采集文件

　　2.3.1.2 元数据

　　支持元模型设计，包括基本信息、属性、父类、子类、组合、组合、依赖、依赖等。

　　基于设计的元模型，配置元数据采集任务：①首先配置采集源，②设置采集任务，③入库，④查看采集 日志。系统首次采集时可以进行入库审核操作，支持采集部分表格，选择部分字段进入平台库

　　在元数据管理上，支持对采集接收到的元数据进行编辑和添加，并支持元数据检查，包括一致性检查（检查最新的元数据是否与数据源中的数据一致）、组合关系缺失检查（比较与元模型），属性填充率检查，元数据标准覆盖检查，检查异常管理，配置检查任务。血线分析支持人工维护；支持查看元​​数据版本变更记录；支持为元数据添加数据标准映射（手动和智能推荐映射方法）

　　在元数据的应用中，血缘关系分析包括影响力分析、血缘关系分析、全链分析、相关性分析、属性值差异分析、元数据对比分析、重复元数据分析；检索粒度包括系统、库、域、表、字段、索引等。

　　

　　2.3.1.3 数据标准

　　数据标准体系由基础数据标准和通用数据标准两部分组成。在，

　　数据标准增删改查时，从业务属性、技术属性、管理属性三个方面进行操作

　　数据标准只有在经过审查并作为最终数据标准发布后才能使用；支持查看历史版本

　　数据标准实施仅支持事后评估

　　2.3.1.4 数据质量

　　数据质量规则支持有效性、准确性、完整性、一致性、及时性、偏差审计规则

　　规则配置支持条件过滤、权重配置

　　任务调度方案配置完成后，可在数据质量监控模块查看执行结果；支持制定预警机制，通过邮件/短信通知收件人

　　2.3.1.5 数据资产

　　从业务角度盘点和展示数据资产，支持数据资产目录的定义；支持查看数据表的数据库表结构和字段值，记录查看和交换数据表的次数

　　数据资产生命周期可用于归档数据，归档机制一般按照时间维度维护

　　2.3.1.6 数据服务

　　通过接口实现数据交换，通过访问控制授权访问

　　数据安全包括权限、脱敏加密

　　三、核心功能对比

　　通过对每个产品的纵向分析，可以了解每个产品的基本功能，然后进行横向分析，比较每个产品在元数据、数据标准、数据质量、数据建模、数据资产、数据服务等六大功能。模块的性能，比较结果如下表所示。

　　3.1 元数据

　　

　　总结：

　　在元数据管理中，最基本的要求是描述数据的基本信息（业务/技术/管理元数据），分析数据的来龙去脉（血缘分析）。派生的需求是父/子类标准、变更记录、Review、补充记录维护、下载等。

　　从元数据采集到应用的*敏*感*词*，四个基本功能大致相同。

　　3.2 数据标准

　　

　　总结：

　　数据标准的要求可以分为数据标准制定和数据标准实施两部分。在数据标准的制定中，数据标准可以分为基础数据标准（行业/业务词汇、参考数据、与主数据相关的标准业务术语）、应用数据标准（指标体系）、命名规则（表/字段命名）规则）。在数据标准的实施中，分为事前控制和事后评估。

　　3.3 数据质量

　　

　　总结：

　　数据质量建设包括质量规则制定和质量规则执行情况评价两个方面。

　　3.4 数据建模

　　

　　总结：

　　数据建模包括模型设计和模型管理两个方面。

　　3.5 数据资产

　　数据资产方面，B和C的数据资产图内容丰富，A一般

　　3.6 数据安全和服务

　　在数据安全与服务模块中，四款产品的功能基本相同，均提供权限方案、安全等级、脱敏加密等功能。

　　四、总结

　　本文由@小脚rose原创发布，大家都是产品经理，未经允许禁止转载

　　题图来自Unsplash，基于CC0协议

　　奖励作者，鼓励TA抓紧创作！

　　欣赏