hadoop集群启动后datanode和namenodemanager关闭问题解决

成功启动hadoop集群后，在matser机器上执行jps命令，可以看到：

 Jps
 ResourceManager
 NameNode
 SecondaryNameNode

在slave节点上可以看到：

 DataNode
 Jps
 NodeManager

但是有时候，在集群启动一段时间后，slave上的datanode和弄得manager会消失。解决办法如下：

1.首先检车自己的配置文件是不是正确，我的配置文件如下：

hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/hadoop/hdfs</value>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/hadoop/hdfs</value>
</property>

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>Master:9001</value>
</property>
</configuration>

mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

<property>
<name>yarn.resourcemanager.address</name>
<value>Master:8032</value>
</property>

<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>Master:8030</value>
</property>

<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>Master:8031</value>
</property>

<property>
<name>yarn.resourcemanager.admin.address</name>
<value>Master:8033</value>
</property>

<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>Master:8088</value>
</property>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>Master</value>
</property>

</configuration>

core-site.xml

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/hdfs</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://Master:9000</value>
</property>
</configuration>

2.如果配置文件没有问题，那么再按以下方法

可能是因为重新格式化集群，但是以前的数据没有清理干净。重新格式化方式如下：
注意：重新格式化HDFS要将hdfs-site.xml中dfs.namenode.name.dir和dfs.datanode.data.dir所指定目录下的内容删除；core-site.xml中hadoop.tmp.dir目录中的内容删除。
然后重新启动hadoop集群，执行hadoop namenode -format

注意：1.记得启动前关闭所有机器的防火墙

一般这样之后就不会再出现出现消失的问题啦~