目录

​

 Spark安装部署 

1、 下载链接  ： Downloads | Apache Spark

2、解压Spark安装包：

   修改配置文件

         分发文件​

        启动spark集群

搭建Spark高可用集群

配置Spark HA集群的操作方式

1、修改spark-env.sh的配置文件

 2、启动Spark HA集群

​

3、测试Spark HA集群

 Spark安装部署 

1、 下载链接  ： Downloads | Apache Spark

2、解压Spark安装包：

首先将下载的spark-2.3.2-bin-hadoop2.7.tgz安装包上传到主节点hadoop01的/export/software目录下，然后解压到/export/servers/目录，解压命令如下

$ tar -zxvf spark-2.3.2-bin-hadoop2.7.tgz -C /export/servers/

   修改配置文件

         分发文件

 至此，spark集群配置完毕

        启动spark集群

搭建Spark高可用集群

        需要用到Zookeeper服务，基本原理是将Standalone 集群连接到同一个Zookeeper实例并启动多个Master节点，利用Zookeeper提供的选举和状态保存功能，能使一台Master节点被选举，另外一台Master节点处于Standby状态。当活跃的Master发生故障时，Standby状态的Master就会被激活，然后恢复集群调度，整个恢复过程可能需要1-2分钟。

核心参数：

dataDir：表示zookeepe的数据存放目录

clientPort：表示客户端端口是2181

server.1：1表示主机的编号，第一台，第二...

位置：

配置Spark HA集群的操作方式

1、修改spark-env.sh的配置文件

 2、启动Spark HA集群

3、测试Spark HA集群

         开启hadoop02的Master节点后，等1-2分钟，然后查看8080端口网页状态，然后关闭hadoop01的master节点，再次查看Master状态......

 start_zk.sh

#! /bin/sh

for host in hadoop01 hadoop02 hadoop03

do 

        ssh $host "souce /etc/profile;zkServer.sh.start" 

        echo "$host zk is running"

done