ApacheHadoop 分布式集群搭建（一）主机设置与java环境配置

说明

主机数量为 3 台，主机配置如下图所示：

集群规划

虚拟机环境准备

ps： 文中命令多为手敲，难免出错或者纰漏，如有问题请留言

1.修改主机名称

• 相关命令

  • 查看主机名称 hostnamectl
  • 设置主机名称 hostnamectl set-hostname 主机名称

  

• 设置后退出重新登录即可看到修改后后的名字

  重启命令 reboot

2.关闭防火墙

云服务器防火墙初始时是停用状态，这一步可以省略。以防万一还是检查一下

• 查看防火墙

  systemctl status firewalld

• 查看当前防火墙状态是否为关闭状态

  

• 关闭防火墙命令

  systemctl stop firewalld

• 是防火墙功能时效，开机自动关闭

  systemctl disable firewalld

3.配置主机名与ip地址

• 配置主机名和主机 ip 地址映射关系，三台主机均需要设置

  • 编辑 host 文件 vim /etc/hosts

  • 添加ip地址与主机名

    ！！！注意 添加的 ip 地址为服务器的 内网IP ，使用外网 ip 配置免密时会出问题

    

  • 使用 ping 主机名的方式测试

4.配置免密登录

1）生成 ssh key

• 每台主机执行 ssh-keygen -t rsa 命令，生成公钥与私钥
  
  按3次回车即可

• 查看秘钥

  切换目录 cd .ssh/

  查看生成的文件 ll

  

2）拷贝公钥

• 在三台主机中分别执行命令 ssh-copy-id linux121 ，将公钥拷贝到主机1 中

3）分发公钥

• 在主机1 执行命令 将拷贝完成的公钥发送到其它主机上

  scp authorized_keys linux122:$PWD

  scp authorized_keys linux123:$PWD

• 查看分发后的公钥

  

分发完成后进行测试

此时应该可以通过主机名三台主机可以互相登录，而且不需要输入密码即可

到此，虚拟机环境基本配置完成。

4）ssh关闭密码登录

这一步是为了安全进行设置的，可以省略。

• 修改配置文件
  打开配置文件 vim /etc/ssh/sshd_config

  # 确认一下是否已经设置好就行了
  # line 65 附近
  PasswordAuthentication no  # 设置成这样
  # line 69 附近
  ChallengeResponseAuthentication no # 设置成这样
  	
  

• 重启服务
  systemctl restart sshd

安装 jdk

• 在系统中查看jdk相关信息，如果不是 root 用户切换到root用户 su -root

  rpm -qa | grep java

  显示如下：（有则卸载，没有就不用），注意版本可能会有些不一样，以实际操作的为准。

  tzdata-java-2013g-1.el6.noarch
  java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
  java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
  

• 卸载 openjdk
  （其中参数“tzdata-java-2013j-1.el6.noarch”为上面查看中显示的结果，粘进来就行，如果你显示的不一样，请复制你查询到的结果）

  rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.i686
  rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.i686
  rpm -e --nodeps tzdata-java-2013g-1.el6.noarch
  # -e erase package(uninstall) 移除包(卸载)	
  # --nodeps do not verify package dependencies 不要验证包依赖关系
  

• 上传并解压

  jdk 版本文件名称 与版本信息

  

• jdk安装包
  链接: https://pan.baidu.com/s/1DY_qJdFvCpb6uJWBwlh9xQ
  提取码: ynm5

  • 创建软件安装路径

    mkdir -p /opt/lagou/servers

  • 压缩包存放路径

    mkdir -p /opt/lagou/software

  • 上传 jdk 到 /opt/lagou/software 路径下，并解压
    切换目录 cd /opt/lagou/software
    修改文件权限 chmod 755 jdk-8u231-linux-x64.tar.gz
    解压 tar -zxvf jdk-8u231-linux-x64.tar.gz -C ../servers

• 配置环境变量

  vi /etc/profile
  
  # 添加内容
  export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231  # 解压后的 jdk 目录
  export PATH=:$JAVA_HOME/bin:$PATH
  

  刷新文件 source /etc/profile

  验证 jdk java -version
  

剩余两台主机重复上述步骤即可