Datax下载、安装、定时同步配置

​

目录

DATAX简介：

DATAX下载：

DATAX 安装：

编写同步Job

配置crontab定时任务执行

• DATAX简介：

   DataX是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。

• DATAX下载：

        http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

• DATAX安装：

   下载后解压至本地某个目录如/usr/local/datax，进入bin目录，即可运行同步作业：

$ rm -rf /usr/local/datax/plugin/*/._*  ##先删除异常文件，否则报错

$ cd  /usr/local/datax/bin

$ python datax.py {YOUR_JOB.json}

自检脚本：  

python /usr/local/datax/bin/datax.py /usr/local/datax/job/job.json

参考：https://github.com/alibaba/DataX/blob/master/userGuid.md

• 编写同步Job

 参考DataX/oraclereader.md at master · alibaba/DataX · GitHub

• 配置crontab定时任务执行

编写同步脚本oracle2mysqlday.sh：

oracle2mysqlday.sh内容如下：

#!/bin/bash

source /etc/profile

/usr/bin/python /usr/local/datax/bin/datax.py /usr/local/datax/job/oracle2mysqljob1.json

/usr/bin/python /usr/local/datax/bin/datax.py /usr/local/datax/job/oracle2mysqljob2.json

打开crontab列表

crontab -e

添加以下命令到crontab定时任务列表

#每天凌晨0点40分执行：

40 0 * * * /usr/local/datax/bin/oracle2mysqlday.sh > /usr/local/datax/log/oracle2mysqlday.log 2>&1

​