栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hive SET指令

Hive SET指令

SET指令
指令名描述
hive.session.id会话的ID,一般为用户名和用户名
mapreduce.job.queuename指定提交到的hadoop队列
mapred.job.priority设置队列优先级

hive.mapred.mode

设置mapreduce模式,如果设置为strict,则不允许笛卡尔积。某人为nostrict

hive.exec.dynamic.partition.mode

动态分区模式设置,设置strict要求至少包含一个静态分区,nostrict无此要求

hive.exec.dynamic.partition

是否打开动态分区,设置true,false

hive.auto.convert.join

设置mapjoin优化,设置true,false

hive.input.format=

org.apache.hadoop.hive.ql.io.CombineHiveInputFormat

执行map前,合并小文件

mapred.max.split.size

设置数据的最大分割单元大小

mapred.min.split.size.per.node

一个节点上split文件的最小值
mapred.min.split.size.per.rack一个交换机下split文件的最小值

hive.merge.mapfiles

map-only任务的输出合并,设置true,false

hive.merge.mapredfiles

map-reduce任务的输出合并,设置true,false

hive.merge.smallfiles.avgsize

平均文件大小,是决定是否执行合并操作的阈值

hive.merge.size.per.task

合并操作后的单个文件大小

hive.exec.parallel

参数控制在同一个sql中的不同的job是否可以同时运行

mapreduce.job.running.map.limit

单个任务并发的最大map数

mapreduce.job.running.reduce.limit

单个任务并发的最大reduce数

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/775992.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号