kettle增量循环导入数据--实现更新、删除

在工作中遇到了需要自增循环导入的情况,因为数据量太大,所以想采用根据总数据量,kettle判断循环次数,人为控制每批次传输的数量。在网上查找了很多信息,自己也解决了一些问题,汇聚成了一篇小文章,分享一下。

第一是作业总设计图:

1---定义变量模块内容

第一步为转换结构:主要用于定义变量和获取变量,为下步判断和第三步的循环提供基础。 

 2-----判断模块内容

3------循环模块内容

javaScript内主要是变量循环+1(${RUN_NUM})以及控制每批次传输的量(${START})

 4-----传输模块

这样的一次kettle循环传输数据就完成了。每次传输时自己定义导入数量。

步骤4的传输转换,可以更换为增量导入转换。 

使用kettle实现增量更新_IT小学徒qwer的博客-CSDN博客_kettle增量更新


版权声明:本文为m0_62049948原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。