Hadoop NameNode重新格式化 Failed to add storage directory [DISK]file

1.介绍

在NameNode重新格式化之前,需要删除DataNode上的数据和log日志。不然会造成NameNode和DataNode的clusterID不一致的问题。会有以下报错信息:

Failed to add storage directory [DISK]file

 

2.重新格式化流程

(1)停止Hadoop服务

在NameNode上执行

需要已经配置好了环境变量

stop-all.sh

 

(2)删除DataNode上的数据和log日志

查看hdfs-site.xml中的dfs.namenode.name.dir和dfs.datanode.data.dir(以下路径是我在Ambari2.7.3上的路径)

vim /usr/hdp/3.1.0.0-78/hadoop/etc/hadoop/hdfs-site.xml
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/data1/hadoop/dn</value>
    <final>true</final>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/data1/hadoop/nn</value>
    <final>true</final>
</property>

分别NameNode上和DataNode上在删除上面的目录

rm -rf /data/data1/hadoop/dn

rm -rf /data/data1/hadoop/nn

 

(3)格式化

在NameNode上执行

hdfs namenode -format

 

(4)启动Hadoop集群

在NameNode上执行

start-all.sh

 

 


版权声明:本文为qq_35260875原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。