ETL数据比对 – 源码巴士

一、数据、环境准备

创建源库表TABLE_TEST和目的库TABLE_TEST，并向源库表、目的库插入一些数据，更新源表统计信息。

源库执行：

CREATE TABLE "SYSDBA"."TABLE_TEST"

(

"a"INT NOT NULL,

"b"CHAR(10),

CLUSTER PRIMARY KEY("a")) STORAGE(ON "MAIN", CLUSTERBTR) ;

insert into TABLE_TESTvalues(1,'a');

insert into TABLE_TESTvalues(2,'b');

insert into TABLE_TESTvalues(3,'c');

insert into TABLE_TESTvalues(4,'d');

stat 100on TABLE_TEST("a");

目的库执行：

CREATE TABLE "SYSDBA"."TABLE_TEST"

(

"a"INT NOT NULL,

"b"CHAR(10),

CLUSTER PRIMARY KEY("a")) STORAGE(ON "MAIN", CLUSTERBTR) ;

insert into TABLE_TESTvalues(1,'a');

insert into TABLE_TESTvalues(2,'b');

insert into TABLE_TESTvalues(3,'cc');

insert into TABLE_TESTvalues(5,'e');

二、创建工程、创建转换

三、工具箱中拖拽如图中的插件

四、新建数据源

新建数据源，数据库类型是DM7，如下图

五、在每个数据源下的模式下的表中右键选择：添加表

添加想要进行数据比对的表

六、源表和目的表分别：双击流程中的表/视图组件进行配置

①在常规属性中选择数据集和选择需要比较的列

②流程运行统计中配置

③排序列模块中进行选择

七、从数据转换里拖出增量比对组件，用绿色的线连接，进行配置，如图：

①一般属性模块中：

注意：源表对应增量比对数据源，目的表对应增量比对数据目的，数据输入顺序要和上面表读取组件的排序规则一致，都选择升序

②连接列配置模块中：

选择连接列，一一对应

③更新比较列配置

注意：配置更新比较列，这里配置了3个更新比较列，其他列都不是更新比较列，那么只有这3列发生数据变化才会被比较出不同，发生增量同步，其他列的数据变化都不会产生增量同步。

④流程运行统计

八、双击此处默认输出进行配置