—表连接数据倾斜(join skew in)的优化
-
运行时优化
set hive.optimize.skewjoin=true;
触发时间:在执行计划生成之后,真正开始执行时
优化逻辑:
- 在处理计算时,先将数据倾斜的较大数据存入hdfs
- 等小数据计算完,从hdfs中读取存入的数据
- 开启mapjoin,进行处理
- 最后将两份数据进行union all 操作 -
编译时优化
— 指定触发编译时优化的数据行数(阈值)
set hive.optimize.skewjoin.compiletime=true;—建表时指定数据倾斜的元数据
SKEWED BY (倾斜的字段) ON (需要拆分的key值)
两种优化最后都有将处理后的倾斜数据 unoin一起,这里的union操作,可以进一步优化:
set hive.optimize.union.remove=true;
-----分组统计数据倾斜的优化(Groupby skew in)
1.Map阶段聚合
设置:set hive.map.aggr=true;
优化:开启map端combiner。此配置可以在group by语句中提高HiveQL聚合的执行性能。这个设置
可以将顶层的聚合操作放在Map阶段执行，从而减轻数据传输和Reduce阶段的执行时间，提升总体性能。默认开启，无需显示声明。
2.两个MRJob
设置:set hive.groupby.skewindata=true;(默认关闭)
说明:这个配置项是用于决定group by操作是否支持倾斜数据的负载均衡处理。当数据出现倾斜时， 如果该变量设置为true，那么Hive会自动进行负载均衡。 当选项设定为 true，生成的查询计划会有两个 MR Job。 第一个MR Job中，Map 的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操 作，并输出结果，这样处理的结果是相同的Group By Key有可能被分发到不同的Reduce中，从而 达到负载均衡的目的； 第二个MR Job再根据预处理的数据结果按照Group By Key分布到Reduce中（这个过程可以保 证相同的Group By Key被分布到同一个Reduce中），最后完成最终的聚合操作。
> 注意：在多个列上进行的去重操作与hive环境变量hive.groupby.skewindata存在冲突。 > 当hive.groupby.skewindata=true时，hive不支持多列上的去重操作，并报错：
Error in semantic analysis: DISTINCT on different columns not supported with skew in data
