基于windows,IDEA配置hadoop运行环境遇到的问题和解决(null\bin\winutils.exe)

一、先上我遇到的问题描述:

       1.在IDEA工具上运行一个基于Hadoop的代码时候报如下错误:

           

二、再发段牢骚:

        1.由于目前所在的公司为保险类型的公司,也许是对内部资料安全特别重视,而在公司内部电脑上居然不能配置系统变量;

        2.各种外部的网页也访问不了,给后面下载资料和查找解决办法都带来恩多没必要的麻烦;

三、最后上解决办法:

        1.第一次是按照网上某说法下载了个hadoop-common-2.2.0-bin-master.zip的文件,然后用它配置环境变量,没解决问题

        2.第二次重新安装另一个包hadoop-2.7.2.zip并配置环境,发现不再报上面的问题了,但是出现了新的问题,如下面截图:

           

           注意:安装好hadoop-2.7.2.zip后需要配置环境变量

               配置JAVA_HOME(上面的新问题就是因为Programe Files中的空格导致的)

          

           最好不要安装到带有空格的路径名下,例如:Programe Files,也不要有中文,否则在配置Hadoop的配置文件时会找不到JDK(按相关说法,配置文件中的路径加引号即可解决,但我没测试成功)。

          新问题的解决办法:修改JAVA_HOME的路径
                                          把set JAVA_HOME改为jdk的位置
                                          注意其中PROGRA~1代表Program Files
                                          set JAVA_HOME=E:\PROGRA~1\Java\jdk1.8.0_171

                         还有一种方法是建立软连接(百度搜索去!!!)

    安装hadoop-2.7.2
官网下载hadoop-2.7.2,安装时注意,

       配置HADOOP_HOME

          

         path添加%HADOOP_HOME%\bin(win10不用分号或者如下编辑界面不用分号,其余加上 ;)

             

       注意:需要保证bin下有如下两个文件:  

                  

           最好也配置个CLASSPATH来指定winutils.exe位置

           另外一个就是CLASSPATH来指定winutils.exe位置

                   (注:前面有讲到自己所在公司权限问题我操作不了C盘,所有没有做这步,发现也是可以的)

           

四、总结:

       1.安装好java_home ,并且路径不能出现特殊字符,空格(如Programe Files),和中文

       2.安装全的hadoop包,如我这里的hadoop-2.7.2.jar

       3.配好hadoop_home,path;

       4.通过CLASSPATH来指定winutils.exe位置

       5.CLASSPATH来指定winutils.exe位置

五、测试最终结果,解决!!!

       

 


版权声明:本文为LiangEdward原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。