hive相关参数使用---持续更新

hive.fetch.task.conversion参数

可以在hive,jdbc连接中添加该参数。hive查询对应的底层可以是MR任务,也可以是Fetch 任务即直接读取存储在目录下的文件。决定这个行为的参数是 hive.fetch.task.conversion。

  • 当设置为none时表示所有任务都是生成MR任务
  • 当设置成more时,不限定列,简单的查找select filter limit 都不生成MR任务,其他都生成MR任务。
    设置需要灵活决定,当是简单查询时,我们可能想没必要生成MR直接跑就可以了,但是对于大表线性扫描查询速度会比较慢。

hive.execution.engine参数

可以在hive,jdbc连接中添加该参数。对于hive底层生成MR任务是使用MapReduce引擎还是tez引擎,需要通过该参数指定,默认是MapReduce引擎。如果要使用tez引擎设置为hive.execution.engine=tez。


版权声明:本文为u012601009原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。