第2节、HDFS的Shell相关操作(开发重点,集群上操作hdfs)

一、基本语法

hadoop fs 具体命令 或者 hdfs dfs 具体命令

二、命令大全

2.1 查看命令

2.1.1 列出文件系统目录下的目录和文件

# -h 以更友好的方式列出,主要针对文件大小显示成相应单位K、M、G等
# -r 递归列出,类似于linux中的tree命令
hdfs dfs -ls [-h] [-r] <path>

2.1.2 查看文件内容

hdfs dfs -cat <hdfsfile>

2.1.3 查看文件末尾的1KB数据

hdfs dfs -tail [-f] <hdfsfile>

2.2 创建命令

2.2.1 新建目录

hdfs dfs -mkdir <hdfs path>

2.2.2 创建多级目录

hdfs dfs -mkdir -p <hdfs path>

2.2.3 新建一个空文件

hdfs dfs -touchz <filename>

2.2.4 上传本地文件到hdfs

# -f 如果hdfs上已经存在要上传的文件,则覆盖
hdfs dfs -put [-f]  <本地要上传的文件路径>   <hdfs上的路径>

从本地复制文件到HDFS:
hadoop fs - copyFromLocal [local path] [hdfs path]

2.2.5 从本地移动文件到hdfs(移动后本地就没有该文件)

hadoop fs -moveFromLocal [local path] [hdfs path]

2.3 删除命令

2.3.1 删除文件或目录

# -r 递归删除目录下的所有文件
# -f为直接删除,不予提示
# -skipTrash为彻底放入文件,不放入回收站
hdfs dfs -rm [-r] [-f] [-skipTrash] <hdfs path>

2.4 获取命令

2.4.1 将hdfs文件下载到本地

hadoop fs -get <hdfs path> <local path> 或者 hadoop fs -copyToLocal [hdfs path] [local path]
举例:将hdfs的/config目录下载到本地的/config目录下
hadoop fs -get /config /config

2.4.2 将hdfs文件合并起来下载到本地

hdfs dfs -getmerge [-nl] <hdfs path> <local path>
举例:将hdfs的/config/hadoop目录下的所有文件合并下载到本地的config.txt中
hdfs dfs -getmerge /config/hadoop config.txt

2.5 hdfs管理命令

2.5.1 查看文件系统健康状态

显示hdfs的容量、数据块、数据节点的信息
hdfs dfsadmin -report

2.5.2 安全模式管理

1)查看安全模式状态
hdfs dfsadmin -safemode get
2)强制进入安全模式
hdfs dfsadmin -safemode enter
3)强制离开安全模式
hdfs dfsadmin -safemode leave
注意:命令大多与linux操作系统命令一样,这里就不一一列举了


版权声明:本文为weixin_45702895原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。