Hadoop框架的伪分布和全分布搭建

#1.在搭建Hadoop之前我们需要安装jdk1.8.0_171，这里面jdk的版本没有特殊要求，我使用的是171的版本，也可以使用121的版本
需要的可以去官网进行下载
1.JDK下载地址：
http://www.oracle.com/technetwork/java/javase/downloads/index.html
在Linux中的安装步骤：
1、检查一下系统中的jdk版本

[root@localhost software]# java -version
显示：

openjdk version “1.8.0_102”
OpenJDK Runtime Environment (build 1.8.0_102-b14)
OpenJDK 64-Bit Server VM (build 25.102-b14, mixed mode)
2、检测jdk安装包

[root@localhost software]# rpm -qa | grep java
显示：

复制代码
java-1.7.0-openjdk-1.7.0.111-2.6.7.8.el7.x86_64
python-javapackages-3.4.1-11.el7.noarch
tzdata-java-2016g-2.el7.noarch
javapackages-tools-3.4.1-11.el7.noarch
java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64
java-1.8.0-openjdk-headless-1.8.0.102-4.b14.el7.x86_64
java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.8.el7.x86_64
复制代码
3、卸载openjdk

[root@localhost software]# rpm -e --nodeps tzdata-java-2016g-2.el7.noarch
[root@localhost software]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.111-2.6.7.8.el7.x86_64
[root@localhost software]# rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.8.el7.x86_64
[root@localhost software]# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64
[root@localhost software]# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.102-4.b14.el7.x86_64
或者使用

[root@localhost jvm]# yum remove openjdk
之后再次输入rpm -qa | grep java 查看卸载情况：

[root@localhost software]# rpm -qa | grep java
python-javapackages-3.4.1-11.el7.noarch
javapackages-tools-3.4.1-11.el7.noarch
4、安装新的jdk

首先到jdk官网上下载你想要的jdk版本，下载完成之后将需要安装的jdk安装包放到Linux系统指定的文件夹下，并且命令进入该文件夹下：

复制代码
[root@localhost software]# ll
total 252664
-rw-r–r--. 1 root root 11830603 Jun 9 06:43 alibaba-rocketmq-3.2.6.tar.gz
-rw-r–r--. 1 root root 43399561 Jun 9 06:42 apache-activemq-5.11.1-bin.tar.gz
-rwxrw-rw-. 1 root root 185540433 Apr 21 09:06 jdk-8u131-linux-x64.tar.gz
-rw-r–r--. 1 root root 1547695 Jun 9 06:44 redis-3.2.9.tar.gz
-rw-r–r--. 1 root root 16402010 Jun 9 06:40 zookeeper-3.4.5.tar.gz
复制代码
解压 jdk-8u131-linux-x64.tar.gz安装包

[root@localhost software]# mkdir -p /usr/lib/jvm
[root@localhost software]# tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/lib/jvm
5、设置环境变量

[root@localhost software]# vim /etc/profile
在最前面添加：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_131
export JRE_HOME=$JAV{A}_{H}OME/jreexportCLASSPATH=.:${JAVA_HOME}/lib:$JR{E}_{H}OME/libexportPATH=${JAVA_HOME}/bin:$PATH
6、执行profile文件

[root@localhost software]# source /etc/profile
这样可以使配置不用重启即可立即生效。

7、检查新安装的jdk

[root@localhost software]# java -version
显示：

java version “1.8.0_131”
Java™ SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot™ 64-Bit Server VM (build 25.131-b11, mixed mode)
到此为止，整个安装过程结束。

#2.jdk安装完成后，我们就可以进行Hadoop的安装了
上传hadoop的压缩包，进行解压操作，
tar -zxvf hadoop-2.6.5.tar.gz
bin—系统的操作命令（文件的增删改查）
sbin–系统的管理命令（集群的启动、关闭）
etc/hadoop—配置信息
1、slaves—节点（DN）需要增加我们自己需要使用的节点
2、hdfs-site.xml

dfs.replication //设置备份个数
1


dfs.namenode.secondary.http-address //secondaryNamenode
node01:50090

3、core-site.xml

fs.defaultFS //namenode
hdfs://node01:9000


hadoop.tmp.dir //namenode启动后产生的信息
/var/abc/hadoop/local

4、
把*-env.sh的文件内部所有的java路径改为绝对路
5.配置hadoop的环境变量
export HADOOP_HOME=/opt/software/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
6.格式化 需要到bin目录下面进行格式化的操作
hdfs namenode -format-----让所有文件生效
7.启动命令
/opt/software/hadoop/sbin----start-dfs.sh
8.启动成功后可以使用jps命令进行查看，伪分布是否已经启动
启动的是否正确。

#3.安装Hadoop时我遇到的一些问题
1.hdfs-site.xml ，core-site.xml这两个配置文件中的内容是否正确，备份的设置是否准确，主节点的设置是否正确
2.还有一个问题是Hadoop启动都已经正确了，但是web页面连接不上，经过多番查找。是防火墙没有关闭的原因。这是我在伪分布搭建中遇到的问题
3.安装hadoop的时侯再启动Hadoop的时候namenode和datanode 会报错误，Java-home没有设置，并且没有找到。这个问题是因为在hadoop/etc/下的一些.env.sh为后缀名的文件里，的java_home没有改成绝对路径 。/etc/profile的环境文件中export单词不要写错。

#4.全分布集群的搭建
(2) 配置免密登录
node01->node01 node01->node02 node01->node03 node01->node04
① 所有节点执行 ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
② 在node01节点执行，将node01的公钥加入到其他节点的白名单中 ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04
(3) 所有节点配置JDK
(4) 修改hdfs-site.xml配置文件
①
dfs.replication
3

dfs.namenode.secondary.http-address
node02:50090

(5) 修改core-site.xml配置文件

fs.defaultFS
hdfs://node01:9000


hadoop.tmp.dir
/var/abc/hadoop/cluster

(6) 修改slaves配置文件
修改为node02 node03 node04
将配置好的安装包分发到其他节点上
scp -r hadoop-2.6.5 root@node02:/opt/software/hadoop/
(7) 将所有的HDFS相关的进程关闭
(8) 格式化NameNode(创建目录以及文件)在node01节点执行
① hdfs namenode -format
(9) 启动HDFS start-dfs.sh
(10) 操作HDFS文件系统
① 创建目录 hdfs dfs -mkdir -p /user/root
② 上传文件 hdfs dfs -D dfs.blocksize=1048576 -put