Ubuntu docker spark集群部署

Ubuntu docker spark集群部署

# 首先下载docker脚本

>git clonegit@github.com:amplab/docker-scripts.git

切换路径到docker-scripts

分别运行脚本加载spark相关镜像

>./apache-hadoop-hdfs-precise/build

>./dnsmasq-precise/build

>./spark-1.0.0|0.8.0|0.9.0|0.9.1/build  #根据需要选择版本

以上执行成功后修改

脚本deploy/start_spark_cluster.sh

接着就可以启动集群了,运行 sudo ./deploy/deploy.sh -i spark:1.0.0 -w 3

命令介绍查看 README.md文件

运行状态截图：

运行docker ps

看到端口映射：

Master： 58080:8080

Work_node: 32772:8081 ; 32771:8081 ;32770:8081

本地IP为 172.29.152.189

登录master UI   172.29.152.189:58080