kettle web管理界面_kettle专题9:任务调度

原本计划kettle专题写三五篇应该就够了,梳理的时候才发现功能太多了,精简了精简还是写了不少,但既然是入门就不能太多,今天最后一篇。

之前执行配置的转换都是在spoon图形界面中执行的,但编辑好的转化任务实际都是需要通过定时任务调用的。

本篇就从创建两种类型的资源库开始,讲解pan和kitchen命令行程序的调用方法,掌握了这些知识后就能很容易的在网络中或者单机上通过crontab配置定时执行的任务。

一、资源库的配置方法

1、数据库类型的资源库

7f6e34320bc7fed88172c87eed3e6f47.png

点击上图红框位置,选择Repository Manager进行资源库创建

e0db64da780ade6a764424a6e1afc990.png

选择数据库类型的资源库,后续没有难度,只需要配置一个数据库链接,确认后自动创建资源管理需要的表,如图所示:

b5d704056bf2cbb08a2fe1571d0874aa.png

创建完成后就可以使用admin/admin登陆:

50e3bdf878131a34e58e9706732711bb.png

如果需要增加用户或修改密码,需要点击菜单中的搜索资源库,按照下图进行操作。

2d6bb51248e7f0480deb343351ef4f1c.png

2、文件类型的资源库

3be99d7c3f5b150935ae2a6742a62607.png

文件资源库设置比较简单,只需要配置名字和路径即可,完成后会在指定的文件下创建.meta元数据文件夹。

二、任务调度方法

转换任务调度:

创建的转化是以ktr为后缀名,如果调用这种转换时需要使用pan程序。

pan程序参数说明可以直接在命令行中运行pan.bat或pan.sh即可显示。

1645dd0a3f71e23075a912969c16cf39.png

调度的方法如下:

文件资源库:

pan.bat /trans 邮件发送   /rep filerep

其中转换任务不需要后缀名

数据库资源库:

pan.bat /trans 邮件发送   /rep dbrep /user test /pass test

资源库的管理用户名和密码按照自己配置的进行填写

作业任务调度:

之前的内容我们主要讲转换任务,实际在spoon中可以创建两种任务,还有一种是作业,对于作业实际上是对转换任务的编排调度,相对比较简单,如图所示为一个简单的作业任务:

1a8016cacdbd9845467fdb408de3a95a.png

我们可以通过转换和作业两种控件进行作业任务制作,其中对于作业可以进行镶嵌调用。

对于作业的调度使用kitchen完成:

文件资源库:

kitchen.bat /job 邮件发送作业   /rep filerep

其中作业任务不需要后缀名

数据库资源库:

kitchen.bat /job 邮件发送作业   /rep dbrep /user test /pass test

资源库的管理用户名和密码按照自己配置的进行填写

执行结果如图:

92466ab171324f0bd21fbec242e058a1.png

三、关于任务调度的说明

1、任务调度很多时候都是动态的,可以通过/param:name=value进行参数传递。

2、可以在start中配置定时进行调度。

3、对于多台机器进行任务调度,还是建议使用数据库的资源库模式,这样只要能够连接资源库都可以调用资源库中的任务,维护起来相对简单。

其它文档阅读

kettle专题1:一款免费的ETL工具

kettle专题2:数据库操作

kettle专题3:数据从哪里来

kettle专题4:数据的目的地

kettle专题5:数据转换

kettle专题6:数据流控制

kettle专题7:应用控件的使用

kettle专题8:脚本能力

f02bac935448359914a66c09aa4ba838.png  

7d0c348958fb0d6ffb888ce0b70acefe.gif


版权声明:本文为weixin_35540389原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。