ETL-数据抽取

一.抽取CSV文件数据

1.创建转换csv_extract,并添加“CSV文件输入”控件，“表输出”控件以及Hop跳连接线

2.进入“csv文件输入”界面，选择抽取的文件

3.获取字段，并对文件中的字段类型、格式、长度、精度等属性进行分析

4.预览文件中的数据是否抽取到csv文件输入流中

5.进入“表输出”控件 

6.配置数据库连接

7.选择输出的目标表

8.指定数据库字段，用于将数据表csv的字段和CSV文件中的字段进行匹配

 9.选择“数据库字段”

10.输入字段映射，出现映射匹配 

11.让kettle自动实现映射 

12.实现“表输出”控件配置效果 

13.运行创建的转换csv_extract,实现将CSV文件中的数据抽取到数据表csv中

 14.通过SQLyog工具，查看数据表csv是否成功插入数据

二.抽取JSON文件数据 

1.创建转换json_extract，并添加JSON input控件、“表输出”控件、Hop跳连接线

2.进入“JSON输入”界面

3.选择要抽取的JSON文件json_extract.json

4.将所选择的文件添加到“选中的文件”处

5.添加要抽取的数据字段

 6.进入“JSON输入”界面，勾选“源定义在一个字段里？”复选框；在“从字段获取源”中选择字段名

7.添加从字段data中抽取的field和value字段

8.进入“表输出”界面

9.配置数据库连接

10.选择输出的目标表，将数据表json的字段与JSON文件中的字段进行匹配，输入字段映射，完成Kettle自动实现映射

 11.运行，实现将JSON文件中的数据抽取到数据表json中

12.通过SQLyog工具，查看数据表json是否已成功插入数据

总结：用到的控件有“表输出”、“CSV文件输入”、“JSON input”。