-------------------------------------------20180413(1)----------------------------------------------
IDEA环境搭建参考(如有链接涉及侵权,请与版主联系删除,仅作学习交流):
https://blog.csdn.net/napoay/article/details/68491469
https://blog.csdn.net/qq_37279279/article/details/78502018
IDEA环境搭建过程中遭遇的问题:
1.如何处理Permission denied:user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x 这类Hadoop权限问题?此处我直接修改了supergroup(我改为了root),如下:
hdfs dfs -chown -R <username_of_new_owner> /mp
2.如何处理java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries这类环境变量问题?图示如下:
其中体现解决方案的主要步骤为:
hadoop-common-2.2.0-bin-master.rar 解压之后的bin目录里的winutils.exe存放在了C:hadoop-2.7.4/bin目录下。
温馨提示:有时重启环境往往是解决问题的重要思路(经验之谈,勿喷)
-------------------------------------------20180413(2)----------------------------------------------
如何从HDFS集群或者本地操作文件嫩?
String[] otherArgs = new String[]{"input/dream.txt","output"};
FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));otherArgs数组起着至关重要的作用,第一个参数表示原始数据的输入路径,第二个参数表示处理数据的输出路径。我们可以通过修改 输入输出路径 轻松在 集群 和 本地 环境中切换,或者我们可以从我们的集群中下载core-site.xml、mapred-site.xml、yarn-site.xml并配置到本地IDEA来实现从 集群 读取数据的目的 。
版权声明:本文为helloHeng原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。