hive调优

1、hive code2 增大资源配置

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions=80000;
set hive.exec.max.dynamic.partitions.pernode=10000;
set mapreduce.map.memory.mb=8192; 
set mapreduce.reduce.memory.mb=8192;
set mapred.max.split.size=536870912;
set hive.exec.reducers.bytes.per.reducer=536870912;
set hive.exec.parallel=true;
set hive.exec.parallel.thread.number=4;
set hive.exec.max.created.files=655350;

2、Stage一直停留在map = 0%, reduce = 0%阶段

原因：分配map数量少，一个map处理的数据多，处理速度慢

解决：增加map的数据

方法：

set mapred.max.split.size=64000000;

参数 mapred.max.split.size 用于配置map处理文件的大小，默认是256000000；减少map处理文件的大小，即可增加map的数量