MapReduce 支持的压缩编码

压缩格式

压缩参数配置

案例1: 开启 Map 输出阶段压缩格式为 snappy

set hive.exec.compress.intermediate=true;
set mapreduce.map.output.compress=true;
set mapreduce.map.output.compress.codec=
 org.apache.hadoop.io.compress.SnappyCodec;

案例2: 开启 Reduce 输出阶段压缩格式为 snappy

set hive.exec.compress.output=true;
set mapreduce.output.fileoutputformat.compress=true;
set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;
设置 MapReduce 最终压缩格式为块压缩
set mapreduce.output.fileoutputformat.compress.type=BLOCK;