hive 字符串转数字_再次分享！Hive调优，数据工程师成神之路

热文回顾：美团外卖离线数仓建设与实践

前言

       毫不夸张的说，有没有掌握hive调优，是判断一个数据工程师是否合格的重要指标 

       hive调优涉及到压缩和存储调优，参数调优，sql的调优，数据倾斜调优，小文件问题的调优等

数据的压缩与存储格式

1. map阶段输出数据压缩 ，在这个阶段，优先选择一个低CPU开销的算法。

set hive.exec.compress.intermediate=trueset mapred.map.output.compression.codec= org.apache.hadoop.io.compress.SnappyCodecset mapred.map.output.compression.codec=com.hadoop.compression.lzo.LzoCodec;</