Kylin 3.1.0新版本安装教程

Kylin 3.1.0新版本安装教程

1. 背景

  1. 在大数据开发中,数据处理一般分为离线和实时数据处理。而在离线数据处理中,数据需求从指标维度来看,又可以进一步划分:
  • 固定维度
  • 灵活多维度(维度最大数量固定,但维度之间会有组合)
  • 唯独不确定
  1. 针对上述灵活多维度(维度最大数量固定,但维度之间会有组合),传统上可以使用hive,spark sqll等计算引擎做数据分析处理。

如hive有with cube,grouping sets,roll up来做多维度计算处理。但数据计算处理之后为了保证数据查询快速,还需要导入到hbase,mysql等快速访问数据库中,比较麻烦。
这时候就可以引入kylin,kylin可以直接从hive表中读取数据,并根据需求做自定义多维数据分析(数据分析引擎可以使用mapreduce,spark,flink,默认是mapreduce)。计算后结果会存入hbase,并且会对hbase的rowkey做优化。

2. 安装

  1. 确保有如下软件以及环境变量
    vi /etc/profile
export JAVA_HOME=/opt/apps/jdk1.8.0_191/
export HADOOP_HOME=/opt/apps/hadoop-3.1.1
export HIVE_HOME=/opt/apps/apache-hive-3.1.2-bin
export HBASE_HOME=/opt/apps/hbase-2.0.6
export KYLIN_HOME=/opt/apps/kylin-3.1.0/
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin

注意,因为技术体系采用apache开源套餐,上述软件版本是实际验证兼容可用于企业开发的版本,并且比CDH推荐的相对新一些。

  1. hbase-site.xml,将zookeeper地址中端口号去掉
<property>
<name>hbase.zookeeper.quorum</name>
<value>doit01,doit02,doit03</value>
</property>

这是因为kylin会自己给主机名后面加上2181默认端口号,如果这里加了,主机名就变成如doit02:2181了,这时候就会报找不到主机名。
另外,不用担心不写2181会找不到端口号,因为zookeeper的默认端口号就是2181

  1. 检查kylin运行环境
    kylin解压缩安装包的bin目录下
/bin/check-env.sh

实际,每次启动kylin,都会调用这个脚本做检查,赞!!!
注意,这是一个中国人贡献者占主导的顶级apache开源项目,?

  1. 启动

注意,保证hdfs,zookeeper,habase,yarn都正常启动。
yarn启动是因为kylin默认的计算引擎是就是mapreduce,任务执行时需要有yarn

 bin/kylin.sh start

http://:7070/kylin 通过这个网页就可以访问
初始用户名和密码是 ADMIN/KYLIN

3. 官方文档

  1. http://kylin.apache.org/cn/docs/install/index.html
  2. 在这里插入图片描述
  3. 注意,kylin可以单机,也可以集群模式部署。

版权声明:本文为xiaohu21原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。