常用的Hadoop操作

常用的Hadoop操作

常用的Hadoop操作

  1. 启动hadoop,在HDFS中创建用户目录“/user/hadoop”(现在已经在hadoop目录/usr/local/hadoop);
    方法:cd /usr/local/hadoop
    ./sbin/start-dfs.sh(启动Hadoop)
    ./bin/hdfs dfs -mkdir -p /user/hadoop(创建目录)

    效果如下图:效果如上图在这里插入图片描述

  2. 在此用户目录下创建text文件夹,并查看文件列表;
    方法:./bin/hdfs dfs -mkdir test(创建test)
    hadoop fs -ls /user/hadoop(查看文件列表)

    效果如下图:
    在这里插入图片描述注:如果运行查看文件夹的命令时出现hadoop:未找到命令,可能是环境变量中没有写入hadoop的路径;
    解决办法:vim ~/.bashrc 打开.bashrc文件,在开头加入以下内容
    export PATH=$PATH:/usr/local/hadoop/bin 保存并退出执行如下命令让.bashrc文件生效source ~/.bashrc

  3. 将~/.bashrc文件上传到HDFS的test文件夹,并查看test
    方法:./bin/hdfs dfs -put ~/.bashrc test(上传)
    hadoop fs -ls /user/hadoop/test(查看)

    效果图如下:
    在这里插入图片描述

  4. 将HDFS文件夹test拷到本机“/usr/local/hadoop”目录下
    方法:hadoop fs -get /user/hadoop/test /usr/local/hadoop
    hadoop fs -get [hdfs文件的路径] [要下载到的目标路径]

    效果图如下:
    在这里插入图片描述


版权声明:本文为m0_47169157原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。