superset & zeppelin on docker

2019独角兽企业重金招聘Python工程师标准>>>hot3.png

    集群或数据平台搭好了后，如cdh自带hue等notebook辅助在线处理探测分析，但还是很鸡肋，如果想用更强大的在线分析和可视化工具，如superset & zeppelin 又不想影响集群，那在docker上安装它们变是一种即便捷有效，又高大尚的做法好 了，话不多说开始吧

   一、 这里提供三种docker安装方法：

1.使用daocloud提供的脚本一键安装 还有Docker 加速器哦，具体参考：http://get.daocloud.io/#install-docker

在 Linux上 安装 Docker

Docker 的 安装资源文件 存放在Amazon S3，会间歇性连接失败。所以安装Docker的时候，会比较慢。 
你可以通过执行下面的命令，高速安装Docker。

curl -sSL https://get.daocloud.io/docker | sh

适用于Ubuntu，Debian,Centos等大部分Linux，会3小时同步一次Docker官方资源

安装体验版或测试版，体验最新Docker。

curl -sSL https://get.daocloud.io/docker-experimental | sh
curl -sSL https://get.daocloud.io/docker-test | sh

如果安装不成功，可以选择使用二进制包安装方式。 下载二进制包

配置 Docker 加速器

  • Linux
  • MacOS
  • Windows

curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://1169e82c.m.daocloud.ioCopy

该脚本可以将 --registry-mirror 加入到你的 Docker 配置文件 /etc/docker/daemon.json 中。适用于 Ubuntu14.04、Debian、CentOS6 、CentOS7、Fedora、Arch Linux、openSUSE Leap 42.1，其他版本可能有细微不同。更多详情请访问文档。

2.使用阿里云的脚本直接安装：curl -sSL http://acs-public-mirror.oss-cn-hangzhou.aliyuncs.com/docker-engine/internet | sh -

这里写图片描述

这里写图片描述

然后使用：docker info查看是否安装成功。

配置国内数据源。

安装是完成了，然后想下载个镜像试试看，然后就出错了。错误的信息如下：

这里写图片描述

 

这里写图片描述

可以直接登录阿里云的开发者平台查看的：阿里云开发者

也可以参考这里的内容进行配置：使用国内docker数据源

这里写图片描述

然后再次使用docker pull ubuntu的话，下载镜像的速度已经很快了。

使用镜像。

下载完镜像之后就可以进行使用了。

查看镜像信息：docker info，可以查看镜像的一些详细信息。

这里写图片描述

上面由于没有开启Docker daemon而提示了一次错误，所以应该先开启守护进程。

启动Docker守护进程：systemctl start docker用来启动守护进程。

停止守护进程：systemctl stop docker用来关闭守护进程。

查看所有的镜像：docker images。

这里写图片描述

运行容器：docker run -i -t ubuntu /bin/bash,执行该命令之后，就会进入ubuntu镜像中。

首先-i,-t的参数的作用是，-i 标志保证容器中的STDIN是开启的，尽管我们并没有附着到容器中，但这个参数是标准输入的交互式sheel中的重要内容，-t是为告诉Docker为创建的容器分配一个伪tty终端。 
而且，执行run命令后，显示检查本地是否存在ubuntu镜像是否存在，这里并没有指定ubuntu的版本，所以默认是latest标签的镜像。如果有的话就直接使用了，没有的话会查看官方维护的Docker Hub Registry是否有该镜像。由于这里是修改成了国内的阿里云数据源，所以查看的是阿里云的Hub。有的话，就下载到本地然后再使用了。然后直接就进入容器中执行/bin/bash。

这里写图片描述

通过username查看的就是该容器的ID。

容器命名：docker run --name leafage -i -t ubuntu /bin/bash，可以通过–name参数指定这个容器的名称，以后可以该名称代替容器ID使用。名称需要保证唯一性。

离开容器：exit。

启动已经停止运行的容器：docker start 容器的名字或ID，可以通过容器的名称重启启动已经停止的容器，同样的使用容器的ID也可以。同样的restart会重启一个容器。

这里写图片描述

可以从图中看到显示命令了一个leafage的容器，然后离开之后了使用命令进行了启动。启动之后并没有直接进入容器的环境。但是此容器已经启动，可以通过命令查看运行中的容器。

查看运行中的容器：docker ps：

这里写图片描述

连接到运行中的容器：docker attach 容器名字或ID：

这里写图片描述

3.centos7中的Docker 软件包已经包括在默认的 CentOS-Extras 软件源里。所以我直接使用yum install docker

1. 查看系统版本： 
$ cat /etc/redhat-release 
CentOS Linux release 7.0.1406 (Core)

2. 安装docker 
$ yum install docker 
安装过程中报错： 
Transaction check error: 
file /usr/lib/systemd/system/blk-availability.service from install of device-mapper-7:1.02.107-5.el7_2.2.x86_64 conflicts with file from package lvm2-7:2.02.105-14.el7.x86_64 
file /usr/sbin/blkdeactivate from install of device-mapper-7:1.02.107-5.el7_2.2.x86_64 conflicts with file from package lvm2-7:2.02.105-14.el7.x86_64 
file /usr/share/man/man8/blkdeactivate.8.gz from install of device-mapper-7:1.02.107-5.el7_2.2.x86_64 conflicts with file from package lvm2-7:2.02.105-14.el7.x86_64

解决办法： 
$yum install libdevmapper* -y

再次运行： 
$yum install docker

3.检查安装是否成功 
$docker version 
若输出了 Docker 的版本号，说明安装成功了，可通过以下命令启动 Docker 服务：

4. $service docker start 
一旦 Docker 服务启动完毕，就可以开始使用 Docker 了。

使用docker

  1. 使用命令行的工具来检索名字为“tutorial”的镜像 
    $docker search tutorial

  2. 使用docker命令来下载镜像 
    $docker pull learn/tutorial

  3. 查看已下载的镜像 
    $ docker images 
    REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE 
    docker.io/learn/tutorial latest 2d13ac7ee948 3 years ago 128 MB

  4. 在docker容器中运行hello world!

    docker run命令有两个参数，一个是镜像名，一个是要在镜像中运行的命令。 
    $docker run learn/tutorial echo “hello word”

  5. 在容器中安装新的程序(wget命令) 
    $docker run learn/tutorial apt-get install -y wget

  6. 使用docker ps -l命令获得安装完ping命令之后容器的id。然后把这个镜像保存为learn/wget。 
    $ docker ps -l 
    Container ID IMAGE COMMAND CREATED STATUS PORTS NAMES 
    1861c071d861 learn/tutorial “apt-get install -y w” 2 minutes ago Exited (0) 2 minutes ago furious_panini

  7. 保存对容器的修改 
    $ docker commit 1861c071d861 learn/wget 
    ad2245a8acd8014c39ad46b503cc8e74ce4202d9b4b4fdf48596b596b88059b4 
    执行完docker commit命令之后，返回新版本镜像的id号

  8. 运行新的镜像 
    到现在为止，我们已经建立了一个完整的、自成体系的docker环境，并且安装了wget命令在里面。它可以在任何支持docker环境的系统中运行啦！(是不是很神奇呢？)让我们来体验一下吧！

    在新的镜像中运行wget “http://blog.csdn.net/yown” 命令。 
    $docker run learn/wget wget “http://blog.csdn.net/yown”

    成功啦！ 
    $ docker ps -l 
    CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 
    2e079c9ecac4 learn/wget “wget http://blog.csd” About a minute ago Exited (8) About a minute ago elegant_lumiere

  9. 检查运行中的镜像 
    $docker inspect 2e079c9ecac4

  10. 发布自己的镜像 
    a. 首先在www.docker.com注册账户，登录并在https://cloud.docker.com/repository/list 页面创建learn库

    b. 将刚才我们做的镜像起个新的名字： 
    $docker tag learn/wget:latest yown/learn:latest

    c. 在命令行登录： 
    $docker login

    d. 上传 
    $docker push yown/learn:latest

    Do you really want to push to public registry? [y/n]: y 
    The push refers to a repository [docker.io/yown/learn] (len: 1) 
    ad2245a8acd8: Pushing [=========================> ] 6.482 MB/12.48 MB

至此，整个docker的使用已体验完啦！

二、接下来就安装superset & zeppelin  

docker run -p 8088:8088 -v /dockerfs/superset/conf:/etc/superset -v mkdir /dockerfs/superset/data:/data  --name superset -d amancevice/superset:0.18.5

docker run -p 8080:8080 --rm -v /var/zeppelin/logs:/logs -v /var/zeppelin/notebook:/notebook -e ZEPPELIN_LOG_DIR='/logs' -e ZEPPELIN_NOTEBOOK_DIR='/notebook' --name zeppelin apache/zeppelin:0.8.0
 

只听啪啪两声，心里默念了声 “搞定”，偷瞄了眼还在加班写BUG的猿兄媛妹，偷偷掏出手机打卡下班了 ~~

 

转载于:https://my.oschina.net/hblt147/blog/1932314