Kylin 3.1.0新版本安装教程
1. 背景
- 在大数据开发中,数据处理一般分为离线和实时数据处理。而在离线数据处理中,数据需求从指标维度来看,又可以进一步划分:
- 固定维度
- 灵活多维度(维度最大数量固定,但维度之间会有组合)
- 唯独不确定
- 针对上述灵活多维度(维度最大数量固定,但维度之间会有组合),传统上可以使用hive,spark sqll等计算引擎做数据分析处理。
如hive有with cube,grouping sets,roll up来做多维度计算处理。但数据计算处理之后为了保证数据查询快速,还需要导入到hbase,mysql等快速访问数据库中,比较麻烦。
这时候就可以引入kylin,kylin可以直接从hive表中读取数据,并根据需求做自定义多维数据分析(数据分析引擎可以使用mapreduce,spark,flink,默认是mapreduce)。计算后结果会存入hbase,并且会对hbase的rowkey做优化。
2. 安装
- 确保有如下软件以及环境变量
vi /etc/profile
export JAVA_HOME=/opt/apps/jdk1.8.0_191/
export HADOOP_HOME=/opt/apps/hadoop-3.1.1
export HIVE_HOME=/opt/apps/apache-hive-3.1.2-bin
export HBASE_HOME=/opt/apps/hbase-2.0.6
export KYLIN_HOME=/opt/apps/kylin-3.1.0/
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin
注意,因为技术体系采用apache开源套餐,上述软件版本是实际验证兼容可用于企业开发的版本,并且比CDH推荐的相对新一些。
- hbase-site.xml,将zookeeper地址中端口号去掉
<property>
<name>hbase.zookeeper.quorum</name>
<value>doit01,doit02,doit03</value>
</property>
这是因为kylin会自己给主机名后面加上2181默认端口号,如果这里加了,主机名就变成如doit02:2181了,这时候就会报找不到主机名。
另外,不用担心不写2181会找不到端口号,因为zookeeper的默认端口号就是2181
- 检查kylin运行环境
kylin解压缩安装包的bin目录下
/bin/check-env.sh
实际,每次启动kylin,都会调用这个脚本做检查,赞!!!
注意,这是一个中国人贡献者占主导的顶级apache开源项目,?
- 启动
注意,保证hdfs,zookeeper,habase,yarn都正常启动。
yarn启动是因为kylin默认的计算引擎是就是mapreduce,任务执行时需要有yarn
bin/kylin.sh start
http://:7070/kylin 通过这个网页就可以访问
初始用户名和密码是 ADMIN/KYLIN
3. 官方文档
- http://kylin.apache.org/cn/docs/install/index.html

- 注意,kylin可以单机,也可以集群模式部署。
版权声明:本文为xiaohu21原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。