DMETLV5.0介绍
达梦数据交换平台(简称DMETL)是在总结了众多大数据项目经验和需求并结合最新的大数据发展趋势的基础上研发的具有自主版权的数据处理 与集成平台。达梦数据交换平台创新地将传统的ETL工具(Extract、Transform、Loading)与分布式大数据处理平台相结合,实现了对数据同步、 数据处理以及数据交换共享的一站式支持,大幅度降低了用户使用各种平台进行大数据整合处理的技术门槛,是构建数据中心、数据仓库、数据 交换和数据同步等数据集成类应用的理想平台。
安装和启动DMETLV5.0
DMETLV5.0目前提供linux64位和windows64位下载,可选单机或者标准版。本次快速入门使用的是单机windows64位版。
DMETLV5.0可以使用图形界面安装,比较简单,不再赘述。
需要注意的是安装中注意修改监听端口避免冲突,同时注意manager.ini中配置的jdbc属性值。单机版默认使用的是derby作为元数据库,而不是DM7。
注意检查DMETL安装目录下standalone文件夹中的批处理程序。检查无误之后可以运行standalone_start.bat启动DMETL单机版的服务。
启动程序后不要关闭此控制台程序
启动后可以在浏览器输入 localhost:8080 进入DMETL系统登录界面
或者服务启动后从DMETLweb管理快捷方式即可通过web服务使用DMETL。
需要注意的是DMETL的web服务默认登录用户是admin/admin
如果遇到问题可以去官方的技术支持文档查看,下面是官网链接
达梦数据库交换平台DMETL
文章目录
快速入门
一、创建测试表
本次快速入门用例采连接的是DM8数据库(需要先下载DM8数据库)
首先登陆DM管理工具,创建用例所需要的表
在SYSDBA模式下创建如下的三个表
1.学生班级表
2.学生电话表
3.学生信息表
创建完毕后可自行向三个表中填入几行测试数据
通过以上三个表分析需求使用DMETLV5.0完成以下功能
- 从test_stu、test_class三个表中查找出成绩为100的学生的所有信息(学生id,学生性别,学生成绩,学生班级)
- 从test_phone表中获取学生电话信息,并且添加到表中
- 将性别字段中的“男”替换成“男性”
- 自动定期更新学生信息表
二、创建数据源
(这里选择连接DM8数据库,并且测试是否连接成功)
三、创建工程
四、设计转换
DMETLV5.0 中数据转换过程可以看成通过连线在不同的节点之间流动处理的过程,因此转换也可以被称为数据流。
双击后进入设计转换界面
查询2个表中成绩为100分的学生所有信息
双击SQL语句查询节点,输入查询的SQL语句
下面是SQL语句代码
select
A."stu_NAME","stu_ID", "stu_SEX", "stu_SCORE",
B."stu_CLASS"
from
SYSDBA."test_stu" A,
SYSDBA."test_class" B
where
A."stu_ID"=B."ID" and A."stu_SCORE"=100
(这里有2个坑,一个是表名字前面需要加上模式名字,因为该表在SYSDBA模式下创建的,第二个是当你的表名或者字段名是有大小写时,没有用双引号括起来,就会出线报错:“无效的表或视图名”,因为dmserver处理的字段名都是默认大写,无论是查询还是新建,服务器默认都转为大写储存。当时这种机制设计是为了用户在创建和访问数据库对象时,不需要考虑对象名称的大小写问题,统一用大写的方式处理。若需要用小写或如驼峰式的方式命名,则需要用双引号将需要以原本的方式保存的字符引用在内)
用连接线将流程控制器中的test_stu表(数据源节点)和SQL查询节点分别与连接组件连接
双击连接进入连接组件,打开属性配置
增加学生电话号码字段
1.首先创建test_phone表中的键值缓存
2.创建列转换
3.创建数据集查找
数据集查找配置如下
字段值替换
将性别字段中的“男”替换成“男性”
双击数据清洗转换器,配置属性
编辑替换规则
添加目的表
配置目的表的属性
修改节点的名字
流程全部运行成功,右键点击查看目的表中的“预览运行结果”是否和预期结果一样
结果一样,流程成功
五.设计作业
使用DMETL V5.0中作业功能控制转换以及其他任务的运行时间和顺序,更新学生信息表分为两步,首先清空学生信息表,然后再生成数据
创建作业
点击工程
添加作业步骤
双击“定期更新学生信息”作业,进入流程图
编写SQL脚本语句
SQL语句代码如下
delete from SYSDBA."test_stu"
测试一下,运行成功
配置调度
完成定期更新这个功能,右键点击调度,进行配置调度,频率为当天一分钟一次
查看运行日志
执行日志,查看转换状态或者作业执行状态
总结
更多参考请查阅达梦云适配中心