Hbase导出数据成csv格式或flat文件

背景

最近业务部门需要将Hbase数据导出成csv格式文件，或是flat文件（平面格式）。
遇到的难点是，Hbase中无固定的列名。

语言

shell

环境

CentOS 7系统
Hbase 1.5.0

逻辑

在这里插入图片描述
Hbase文件导出后，通过分割文件，并行处理
主要通过“字典”的功能，确保每列都能导出

性能

目前将文件分成10个小文件，并行处理，
10分钟处理100万条数据

具体代码

export_file_from_hbase.sh

#!/bin/bash
#Hbase导出文件

#定义时间
export BATCH_DATETIME=`date +
版权声明：本文为Albert_Fang原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。