linux虚拟机上安装hadoop

设置账号:组   hadoop:hadoop

SSH免密登录

注意事项：

      关闭防护墙

• 显示状态：systemctl status firewalld.service
• 关闭：systemctl stop firewalld.service
• 开机时禁用：systemctl disable firewalld.service

1.上传文件

（以hadoop·2.7.2为例）

 2.解压

[hadoop@hadoop1 soft]$ tar zxvf hadoop-2.7.2.tar.gz -C /opt/module

 3.配置环境变量

[hadoop@hadoop1 soft]$ sudo vim /etc/profile

修改为：

export HADOOP_HOME=/opt/module/hadoop-2.7.2

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

环境变量生效

[hadoop@hadoop1 soft]$ source /etc/profile

默认配置文件目录 $HADOOP_HOME/etc/hadoop

4.配置文件说明

默认的配置文件：

core-default.xml： Hadoop核心的参数

 hdfs-default.xml   HDFS相关的参数！

 mapred-default.xml:  MR程序在运行时的参数！

 yarn-default.xml: yarn: YARN在启动时需要的参数！

用户可以自定义的配置文件

core-site.xml： 用户自定义的设置hadoop核心的参数

hdfs-site.xml   用户自定义的HDFS相关的参数

mapred-site.xml: 用户自定义的MR程序需要的参数

yarn-site.xml: 用户自定义的YARN在启动时需要的参数

 5.配置core-site.xml

[hadoop@hadoop1 hadoop]$ vi core-site.xml

<configuration>

 <!-- 指定HDFS中NameNode的地址 -->

 <property>

      <name>fs.defaultFS</name>

      <value>hdfs://hadoop1:9000</value>

 </property>

 <!-- 指定Hadoop运行时产生文件的存储目录 -->

 <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/module/hadoop-2.7.2/data/tmp</value>

 </property>

</configuration>

6.配置hadoop-env.sh

[hadoop@hadoop1 hadoop]$ vi hadoop-env.sh

 export JAVA_HOME=/opt/module/jdk1.8.0_144（或其他版本jdk）

 7.配置hdfs-site.xml

[hadoop@hadoop1 hadoop]$ vi hdfs-site.xml

<!—副本因子 -->

<configuration>

 <property>

   <name>dfs.replication</name>

   <value>3</value>

 </property>

<!-- 指定Hadoop辅助名称节点主机配置 -->

 <property>

      <name>dfs.namenode.secondary.http-address</name>

      <value>hadoop3:50090</value>

 </property>

</configuration>

 8.配置yarn-env.sh

[hadoop@hadoop1 hadoop]$ vi yarn-env.sh

 export JAVA_HOME=/opt/module/jdk1.8.0_144

9.配置yarn-site.xml

[hadoop@hadoop1 hadoop]$ vi yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

<!-- Reducer获取数据的方式 -->

  <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

  </property>

  <!-- 指定YARN的ResourceManager的地址 -->

  <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop2</value>

  </property>

</configuration>

10.配置mapred-env.sh

[hadoop@hadoop1 hadoop]$ vi mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

 11.配置mapred-site.xml

[hadoop@hadoop1 hadoop]$ cp mapred-site.xml.template mapred-site.xml

[hadoop@hadoop1 hadoop]$ vi mapred-site.xml

<configuration>

 <!-- 指定MR运行在YARN上 -->

 <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

 </property>

  <!-- 配置 MapReduce JobHistory Server 地址,默认端口10020 -->

    <property>

        <name>mapreduce.jobhistory.address</name>

        <value>hadoop3:10020</value>

    </property>

    <!-- 配置 MapReduce JobHistory Server web ui 地址,默认端口19888 -->

    <property>

        <name>mapreduce.jobhistory.webapp.address</name>

        <value>hadoop3:19888</value>

    </property>

</configuration>

12.配置slaves

[hadoop@hadoop1 hadoop]$ vi slaves