IDEA搭建MapReduce编程环境

-------------------------------------------20180413(1)----------------------------------------------

IDEA环境搭建参考(如有链接涉及侵权,请与版主联系删除,仅作学习交流):

    https://blog.csdn.net/napoay/article/details/68491469

    https://blog.csdn.net/qq_37279279/article/details/78502018

IDEA环境搭建过程中遭遇的问题:

    1.如何处理Permission denied:user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x  这类Hadoop权限问题?此处我直接修改了supergroup(我改为了root),如下:

    hdfs dfs -chown -R <username_of_new_owner> /mp

   2.如何处理java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries这类环境变量问题?图示如下:

    

其中体现解决方案的主要步骤为:

    hadoop-common-2.2.0-bin-master.rar 解压之后的bin目录里的winutils.exe存放在了C:hadoop-2.7.4/bin目录下。

温馨提示:有时重启环境往往是解决问题的重要思路(经验之谈,勿喷)

-------------------------------------------20180413(2)----------------------------------------------

如何从HDFS集群或者本地操作文件嫩?

String[] otherArgs = new String[]{"input/dream.txt","output"};
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
     otherArgs数组起着至关重要的作用,第一个参数表示原始数据的输入路径,第二个参数表示处理数据的输出路径。我们可以通过修改   输入输出路径   轻松在   集群   和   本地   环境中切换,或者我们可以从我们的集群中下载core-site.xml、mapred-site.xml、yarn-site.xml并配置到本地IDEA来实现从   集群   读取数据的目的 。

    



版权声明:本文为helloHeng原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。