Hive SET指令

SET指令
指令名描述
hive.session.id会话的ID,一般为用户名和用户名
mapreduce.job.queuename指定提交到的hadoop队列
mapred.job.priority设置队列优先级

hive.mapred.mode

设置mapreduce模式,如果设置为strict,则不允许笛卡尔积。某人为nostrict

hive.exec.dynamic.partition.mode

动态分区模式设置,设置strict要求至少包含一个静态分区,nostrict无此要求

hive.exec.dynamic.partition

是否打开动态分区,设置true,false

hive.auto.convert.join

设置mapjoin优化,设置true,false

hive.input.format=

org.apache.hadoop.hive.ql.io.CombineHiveInputFormat

执行map前,合并小文件

mapred.max.split.size

设置数据的最大分割单元大小

mapred.min.split.size.per.node

一个节点上split文件的最小值
mapred.min.split.size.per.rack一个交换机下split文件的最小值

hive.merge.mapfiles

map-only任务的输出合并,设置true,false

hive.merge.mapredfiles

map-reduce任务的输出合并,设置true,false

hive.merge.smallfiles.avgsize

平均文件大小,是决定是否执行合并操作的阈值

hive.merge.size.per.task

合并操作后的单个文件大小

hive.exec.parallel

参数控制在同一个sql中的不同的job是否可以同时运行

mapreduce.job.running.map.limit

单个任务并发的最大map数

mapreduce.job.running.reduce.limit

单个任务并发的最大reduce数


版权声明:本文为weixin_44423625原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。