利用采集器 采集的平台(WeData元数据采集任务功能(2015年03月23日))
优采云 发布时间: 2022-04-13 19:32利用采集器 采集的平台(WeData元数据采集任务功能(2015年03月23日))
数据发现功能主要提供元数据采集能力。WeData为用户提供了自定义元数据采集任务的功能。采集tasks会按照配置周期按计划运行和更新元数据信息,支持手动运行、任务编辑等管理操作。当前版本支持用户使用 Hive 和 MySQL 数据类型采集。
配置 采集 任务
单击 采集 任务并选择数据源类型。
当前版本支持用户使用 Hive 和 MySQL 数据类型采集。
设置采集对象
每个采集任务最多可以绑定到WeData项目下的单个数据源,数据源不能重复绑定采集任务。信息详情
任务名称
采集任务名称,不能为空。名称支持字母、汉字,可以收录字母、汉字、数字、减号(-)和下划线(_)。
描述
可选,采集 任务的描述。
项目
数据源所属项目的名称。
数据源
采集任务对应的数据源名称,可在项目管理模块中查看。
实例/数据库详细信息
数据源对象实际对应的 Hive 实例名称/MySQL 数据库名称。
配置采集计划
配置元数据采集任务运行周期、具体日期、时间。采集任务列表
采集任务列表提供当前主账号下所有采集任务的信息,包括任务名称、采集对象、技术类型、项目、创建者等。提供的信息包括采集@>任务详情查看、编辑、删除和运行操作。
信息详情
任务名称
采集任务的名称。
采集对象
采集任务对应的数据源名称。
技术类型
数据源类型。当前版本支持 Hive 和 MySQL。
查看项目
数据源和 采集 对象所属的项目的名称和 ID。
创始人
创建 采集 任务的帐户的名称。
采集计划
采集任务运行周期。
上次执行时间
采集上次任务运行的年、月、日和时间。
最后一次执行
在最近一次运行中,采集任务的运行状态:pending:未达到采集预定运行时间,采集任务正在等待运行。运行中:采集任务正在运行。失败:采集 任务未能运行。点击查看任务失败日志,重启采集任务。已完成:采集任务运行成功。
上次表更改
在最近的 采集 任务运行中添加、删除和更新的表总数。点击查看下方各类表格的详细信息。
操作
提供此任务的详细查看、编辑、删除和运行操作。
运行 采集 任务
手动运行一次性/周期性任务,非执行状态的任务支持手动运行。
采集任务
项目、数据源、更新方法、删除方法、采集计划可以在非执行状态下进行编辑;支持同类型的数据源变更,采集任务基于最新绑定的采集对象采集。
删除 采集 任务
采集 任务删除后,该数据源的采集 将停止。当前版本中已采集到 WeData 的表不会被删除。