zeppelin的安装教程,超详细

一、简介

它提供了一个非常友好的 WebUI 界面,操作相关指令。它可以用于做数据分析和可视化。其后面可以接入不同的数据处理引擎。包括 Flink,Spark,Hive 等。支持原生的 Scala,Shell,Markdown 等。

Zeppelin是一个Apache的孵化项目.
一个基于web的笔记本,支持交互式数据分析。你可以用SQL、Scala等做出数据驱动的、交互、协作的文档。(类似于ipython notebook,可以直接在浏览器中写代码、笔记并共享)

可以看作一个多用途笔记本

可实现你所需要的:

  • 数据采集
  • 数据发现
  • 数据分析
  • 数据可视化和协作

支持多种语言,默认是scala(背后是spark shell),SparkSQL, Markdown 和 Shell。

二、安装

因为是100%开源的,我们可以在官方直接下载安装包即可,这里我用的是0.8.1的版本
下载安装到Opt目录下
修改配置文件(包含改名)

vi zeppelin-site.xml

将默认的端口8080修改位其他数字(8000),目的是为了避免冲突

vi zeppelin-env.sh

增加内容如下:

export JAVA_HOME=/opt/jdk1.8.0_221
export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

启动 zeppelin

 ./zeppelin-daemon.sh start

打开网页:ip地址:设置的端口号

 ./zeppelin-daemon.sh stop

配置hive解释器(Zepplin中没有默认的hive解释器,但是我们可以通过jdbc解释器进行添加)
1.拷贝hive的配置文件hive-site.xml到zeppelin-0.8.1-bin-all/conf下。

cp /opt/hive/conf/hive-site.xml /opt/zpln/conf/

2.拷贝两个jar包到zeppelin安装目录下interperter中。

cp /opt/hadoop/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.2.jar /opt/zpln/interpreter/jdbc
cp /opt/hive/lib/hive-jdbc-1.1.0-cdh5.14.2-standalone.jar /opt/zpln/interpreter/jdbc

3.启动并打开网页
(1)右上角anonymous --> interpreter --> +Create新建一个叫做hive的集成环境(jdbc)
在这里插入图片描述

(2)设置properties
default.driver org.apache.hive.jdbc.HiveDriver
default.url jdbc:hive2://192.168.42.200:10000
default.user hive
在这里插入图片描述

点击save保存
(3)后台启动和hiveserver2
nohup hive --service hiveserver2 &
重启下zeppelin;
(4) 使用Zepplin的hive解释器
在zepplin中,点击notebook,通过create new note创建一个notebook.
在这里插入图片描述

其中name可以任意,Default Interpreter选择hive.
(5)验证hive解释器(注意,这里不能有分号)
%hive
show databases
在这里插入图片描述

三、json文件展示

在这里插入图片描述

把我们的json文件放进去后,会生成如下界面:
在这里插入图片描述

点击进去,即可看到我们在zeppelin展示的json文件的内容了!
在这里插入图片描述


版权声明:本文为weixin_49165958原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。