数据倾斜及其解决方案

• Map Join
• Bucket-Map Join详细介绍
• SMB详细介绍

• 介绍：如果大表和大表进行join操作，则可采用skewjoin（倾斜关联来开启对倾斜数据的优化）

• 配置项

  set hive.optimize.skewjoin=true;
  

• skewjoin原理：

  • 对于skewjoin.key，在执行job时，将它们存入临时的HDFS目录，其他数据正常执行
  • 对倾斜数据开启map join操作（多个map并行处理），对非倾斜值采取普通join操作
  • 将倾斜数据集和非倾斜数据集进行合并Union操作

• 默认倾斜数据阈值（如果join的key对应的记录条数超过这个值，就认为这个key产生了数据倾斜，则会对其进行分拆优化）

  set hive.skewjoin.key=100000;
  

上面的配置项其实应该理解为hive.optmize.skewjoin.runtime，也就是sql运行时来对偏斜信息及逆行优化；除此之外还有另外一个配置：

-- 默认关闭
set hive.optimize.skewjoin.compiletime=true;

此参数对的用处和上面的hive.optimize.skewjoin一致，但在编译sql时就已经将执行计划优化完毕。但要注意的是，只有在表的元数据中存储的有数据倾斜信息时，才能生效。因此建议runtime和compiletyime都设置为true
可以通过建表语句来指定数据倾斜元数据

create table list_bucket_single (key string, value string)
-- 倾斜的字段和需要拆分的key值
skewed by (key) on (1, 5, 6)
-- 为倾斜值创建子目录单独存放
[stored as directories ];

应用了表连接倾斜优化以后，会在执行计划中插入一个新的union操作，此时建议开启对union的优化配置

-- 默认关闭
set hive.optimize.union.remove=true;

此配置项减少对Union all子查询中间结果的二次读写，可以避免union输出的额外扫描过程，当开启了skewjoin时尤其有用，建议同时开启

set hive.optimize.skewjoin=true;
set hive.optimize.skewjoin.compiletime=true;
set hive.optimize.union.remove=true;

-- 默认开启，无需显示声明
set hive.map.aggr=true

开启map端combiner。此配置可以在group by语句中提高HiveQL聚合的执行性能。这个设置可以将顶层的聚合操作放在Map阶段执行，从而减轻数据传输和Redduce阶段的执行时间，提升总体性能。

• 配置项

  -- 默认关闭
  set hive.groupby.skewindata=true;
  

• 这个配置项时用于决定group by操作是否支持倾斜数据的负载均衡处理。当数据出现倾斜时，如果该变量设置为true，那么Hive会自动进行负载均衡

• 当选项设定为true，生成的查询计划会有两个MR Job

  • 第一个MR Job中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相通的Group By Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；
  • 第二个MR Job再根据预处理的数据结果按照Group By Key分布到Reduce中（这个过程可以保证相同的Group By Key被分布到同一个Reduce中），最后完后才能最终的聚合操作

• 注意：在多个列上进行的去重操作与hive环境变量hive.groupby.skewindata存在冲突。当hive.groupby.skewindata=true时，hive不支持多列上的去重操作，并报错

  -- 可以正常执行
  select count(distinct uid) from log;
  -- 可以正常执行
  select ip, count(distinct uid) from log group by ip;
  -- 可以正常执行
  select ip, count(distinct uid, uname) from log group by ip;
  -- 运行报错
  select ip, count(distinct uid), count(distinct uname) from log group by ip;