大数据分布式存储框架Hadoop入门

HDFS的shell操作

hadoop的bin/hadoop fs 查看具体命令

常用命令实操

启动hadoop集群

• sbin/ start-dfs.sh
• sbin/start-yarn.sh

帮助命令

• hadoop fs -help rm

显示目录信息

• hadoop fs -ls /

在HDFS上创建目录

• Hadoop fs -mkdir   -p /test/hello

追加一个文件到已经存在的文件末尾

• hadoop fs -appendToFile liubei.txt /sanguo/shuguo/kongming.txt

显示文件内容

• hadoop fs -cat  /sanguo/shuguo/kongming.txt

从本地文件系统中拷贝文件到HDFS路径去

• hadoop fs -copyFromLocal README.txt /

从HDFS的一个路径拷贝到HDFS的另一个路径

• hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt

设置HDFS中文件的副本数量

• hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt
• 副本数量看DataNode的数量

HDFS客户端操作

HDFS客户端操作（开发重点）

HDFS 客户端操作

HDFS 的 API 操作

参考文章:https://blog.csdn.net/weixin_48067943/article/details/107577159

HDFS写数据流程

1. 客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。
2. NameNode返回是否可以上传。
3. 客户端请求第一个Block上传到哪几个DataNode服务器上。
4. NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。
5. 客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。
6. dn1、dn2、dn3逐级应答客户端。
7. 客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。
8. 当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。

HDFS读数据流程

1. 客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。

2. 挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。

3. DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。

4. 客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。

网络拓扑-节点距离计算

参考文章:https://blog.csdn.net/m0_37294838/article/details/90033993

 NameNode和SecondaryNameNode（面试重点）

参考文章:https://www.cnblogs.com/Diyo/p/11355699.html

HDFS 2.X新特性

采用distcp命令实现两个Hadoop集群之间的递归数据复制

 bin/hadoop distcp  hdfs://haoop102:9000user/test/hello.txt hdfs://hadoop103:9000/user/test/hello.txt