【知识学习】IDEA开发Hadoop MapReduce程序

1、首先下载一个Hadoop包,仅Hadoop即可。

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.10.1/

2、打开Idea新建一个java项目。

在这里插入图片描述
在这里插入图片描述

3、项目配置 File ---- Project Structure

(1)首先注意SDK的配置
在这里插入图片描述
(2)加入Hadoop的jar包依赖
在这里插入图片描述
在这里插入图片描述
(3)打包配置
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4、开发map-reduce代码

在这里插入图片描述
根据自己需求写代码,下面附代码样本。
(1)mapper代码:
在这里插入图片描述
(2)reduce代码片断:
在这里插入图片描述

(3)run/main代码:
在这里插入图片描述
5、配置编译器

右上角:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
注意:第三个框里只需添入输入路径和输出路径即可

6、将数据导入到你的程序中

在这里插入图片描述
注意:不要创建output目录,系统会自动创建。否则会报目录已存在的错。

7、运行

(1)运行成功:
在这里插入图片描述
在这里插入图片描述(2)查看结果
在这里插入图片描述