在idea中搭建hadoop运行环境

今天我将为大家讲解一下如何使用idea搭建Hadoop运行环境，它一共有一下几个步骤：
（1）、下载hadoop jar包
根据自己电脑的操作系统到官网下载hadoop jar包到非中文路径（例如：D:\Develop\hadoop-2.7.2）
（2）、配置HADOOP_HOME环境变量

（3）、配置Path环境变量

4．创建一个Maven工程HadoopDemo


5．在pom文件中导入相应的依赖坐标+日志添加

<dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.8.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.2</version>
        </dependency>
        
</dependencies>

注意：如果Eclipse/Idea打印不出日志，在控制台上只显示
1.log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).
2.log4j:WARN Please initialize the log4j system properly.
3.log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

需要在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入
log4j.rootLogger=DEBUG,myConsole
log4j.appender.myConsole=org.apache.log4j.ConsoleAppender
log4j.appender.myConsole.Target=System.out
log4j.appender.myConsole.layout=org.apache.log4j.PatternLayout
log4j.appender.myConsole.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n
6.下面我们将通过新建目录来测试环境是否搭建成功

public class HdfsClient {
    @Test
    public void testMkdir() throws IOException, InterruptedException, URISyntaxException{
        // 新建文件夹
        Configuration conf=new Configuration();//加载配置项
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000/"),conf,"root");//加载文件系统实例
        fs.mkdirs(new Path("/yqw"));//新建文件夹
    }
}

结果：

由此可知，我们的hadoop环境是搭建成功的，好了，如何在idea中搭建hadoop运行环境我就讲到这了，大家如果有什么问题欢迎留言，我们可以多多讨论！