前言

本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系

姊妹篇

Hadoop 调优之 Linux 操作系统调优篇
Hadoop 调优之 HDFS 调优篇
Hadoop 调优之 YARN 调优篇
Hive 如何进行企业级调优？

正文

使用 Hadoop 进行大数据运算，当数据量极大时，那么对 MapReduce 性能的调优重要性不言而喻，尤其是 Shuffle 过程中的参数配置对作业的总执行时间影响特别大。

下面总结一些和 MapReduce 相关的性能调优方法，主要从 5 个方面考虑:

数据输入、 Map 阶段、 Reduce 阶段、 Shuffle 阶段和其他调优属性。

1. 数据输入

在执行 MapReduce 任务前，将小文件进行合并，大量的小文件会产生大量的 Map 任务，増大 Map 任务装载的次数，而任务的装载比较耗时，从而导致 MapReduce 运行速度较慢。

因此采用 CombineTextInputFormat 来作为输入，解决输入端大量的小文件场景

2. Map 阶段

1. 减少溢写( spill )次数: 通过调整 io.sort.mb 及 sort.spill.percent 参数值，增大触发 spill 的内存上限，减少 spill 次数，从而减少磁盘 I / O 。
2. 减少合并( merge )次数: 通过调整 io.sort. factor 参数，增大 merge 的文件数目，减少 merge 的次数，从而缩短 MR 处理时间。
3. 在 Map 之后，不影响业务逻辑前提下，先进行 combine 处理，减少 I / O 上面提到的那些属性参数，都是位于 marred-default.xml 文件中，这些属性参数的调优方式如表所示。

3. Reduce 阶段

1. 合理设置 Map 和 Reduce 数: 两个都不能设置太少，也不能设置太多。
   太少，会导致 task 等待，延长处理时间;太多，会导致 Map 和 Reduce 任务间竞争资源，造成处理超时等错误。
2. 设置 Map 和 Reduce 共存: 调整 slowstart.completedmaps 参数，使 Map 运行到定程度后， Reduce 也开始运行，减少 Reduce 的等待时间。
3. 规避使用 Reduce : 因为 Reduce 在用于连接数据集的时候将会产生大量的网络消耗。
   通过将 MapReduce 参数 setNumReduceTasks 设置为 0 来创建一个只有 Map 的作业
4. 合理设置 Reduce 端的 buffer : 默认情况下，数据达到一个國值的时候， buffer 中的数据就会写人磁盘，然后 Reduce 会从磁盘中获得所有的数据。
   也就是说， buffer 和 Reduce 是没有直接关联的，中间多一个写磁盘→读磁盘的过程，既然有这个弊端，那么就可以通过参数来配置，使得 buffer 中的一部分数据可以直接输送到 Reduce ，从而减少 I / O 开销。
   这样一来，设置 buffer 需要内存，读取数据需要内存， Reduce 计算也要内存，所以要根据作业的运行情况进行调整。

上面提到的属性参数，都是位于 mapped-default.xml 文件中，这些属性参数的调优方式如表所示。

4. Shuffle 阶段

Shuffle 阶段的调优就是给 Shuffle 过程尽量多地提供内存空间，以防止出现内存溢出现象，可以由参数 mapped.child.java.opts 来设置，任务节点上的内存大小应尽量大。

上面提到的属性参数，都是位于 mapred-site.xml 文件中，这些属性参数的调优方式如表所示。

5. 其他调优属性

除此之外， Mapreduce还有一些基本的资源属性的配置，这些配置的相关参数都位于 mapred-default.xml 文件中，可以合理配置这些属性提高 Mapreduce性能，下表列举了部分调优属性。