最简单的-spark3-集群搭建

hadoop集群搭建方案

hive单机搭建方案

hbase集群搭建方案

storm集群搭建方案

flume集群搭建方案

spark3集群搭建方案

机器：

10.211.55.67 master
10.211.55.68 slave1
10.211.55.69 slave2

首先三台机器安装scala

wget https://downloads.lightbend.com/scala/2.13.2/scala-2.13.2.tgz

下载之后配置环境变量

#scala
export SCALA_HOME=/home/scala-2.13.2
export PATH=$PATH:$SCALA_HOME/bin

测试 scala -version

配置spark环境变量

#spark
export SPARK_HOME=/home/spark-3.0.0/
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

进入conf
cp spark-env.sh.template spark-env.sh
vim spark-env.sh

export JAVA_HOME=/home/jdk1.8.0_241/
export SCALA_HOME=/home/scala-2.12.6/
export HADOOP_HOME=/home/hadoop-3.2.1/
export HADOOP_CONF_DIR=/home/hadoop-3.2.1/etc/hadoop
export SPARK_MASTER_IP=master
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1

#说明
JAVA_HOME：Java安装目录
SCALA_HOME：Scala安装目录
HADOOP_HOME：hadoop安装目录
HADOOP_CONF_DIR：hadoop集群的配置文件的目录
SPARK_MASTER_IP：spark集群的Master节点的ip地址
SPARK_WORKER_MEMORY：每个worker节点能够最大分配给exectors的内存大小
SPARK_WORKER_CORES：每个worker节点所占有的CPU核数目
SPARK_WORKER_INSTANCES：每台机器上开启的worker节点的数目

cp slaves.template slaves & vim slaves
在最后下添加

slave1
slave2

拷贝到节点

scp -r /home/spark-3.0.0/ slave1:/home/
scp -r /home/spark-3.0.0/ slave2:/home/

进入/sbin

./start-all.sh

访问界面

http://10.211.55.67:8080/
http://10.211.55.68:8081/
http://10.211.55.69:8081/