[hive] mr 引擎 和spark引擎对reduce task的设置

Configuration Properties - Apache Hive - Apache Software Foundation

1.mr

mapred.reduce.tasks
强制指定reduce个数
默认值：-1
添加于：Hive 0.1.0
通过将此属性设置为 -1，Hive 将自动计算出reduce task的数量。
 
hive.exec.reducers.bytes.per.reducer
每个reduce task处理的最大数据量
Hive 0.14.0 及更高版本中为256,000,000 即256 MB
也就是说，如果输入大小为 1 GB，则将使用 4 个 reducer。
 
hive.exec.reducers.max
每个job最大的reduce task个数
默认值：1009 在 Hive 0.14.0 及更高版本中
每个job 的最大reducer 数量。

2.spark

mapreduce.job.reduces
默认值：-1（禁用）
添加于：Hive 1.1.0 与 HIVE-7567
设置每个 Spark shuffle 阶段的 reduce 任务数。
默认情况下设置为 -1:reduce task的数量是根据 Hive 数据统计动态计算的。将此设置为一个常数值会为所有 Spark shuffle 阶段设置相同数量的分区。