3.kettle实现不同数据库的数据采集

　　3.kettle实现不同数据库的数据采集

　　「深度学习福利」大神带你进阶工程师，立即查看>>>

　　基于kettle实现数据采集

　　1.kettle简介

　　Kettle 是一款美国开源的 ETL 工具，纯 Java 编写，通过提供一个图形化的用户环境来描述你想做哪些，而不是你想怎样做，它的数据抽取高效稳定(数据迁移工具)。Kettle 中有两种脚本文件，transformation 和 job，transformation 完成针对数据的基础转换，job 则完成整个工作流的控制。

　　2.kettle下载

　　下面两个案例是使用kettle7.1进行操作，分享一下国外的下载地址:

　　kettle下载

　　无需安装，双击根目录下的Spoon.bat文件即可

　　3.kettle实现不同数据库的数据采集

　　这个案例是实现oracle数据库的数据采集到mysql上面去

　　3.1创建对应数据库的DB联接

　　3.2使用图形工具完成表输入->字段选择->表输出的流线设计

　　3.3配置表输入信息：用于编撰sql获取数据源的数据

　　3.4配置数组选择信息：用于数据源和目标表数组名不一致的一个转换

　　3.5配置表输出信息：用于目标表的主键映射

　　3.6运行这个转换，并查看结果

　　4.kettle实现插口的数据采集

　　接口地址（可直接复制）：%E8%A7%92%E7%BE%8E&region=%E6%BC%B3%E5%B7%9E%E5%B8%82&output=json&ak=n0lHarpY3QZx6xXXIaWMFLxj

　　通过访问插口可以获知返回的json数据结构，可考虑做两层json解析来获取对应的数组，当然也可以使用：$…result[*].name的表达式来获取，这里不做演示，有兴趣的朋友可以试一下！

　　4.1配置目标表的DB联接（上面有oracle和mysql的不同示例）

　　4.2使用图形工具插口采集的流线图

　　4.3配置生成记录信息：填写对应的url地址和定义url名称，类型