1.什么是数据倾斜以及数据倾斜的产生原因
举一个简单的例子来理解数据倾斜，例如使用reduceByKey算子进行分区时，假如调用该算子的rdd中内的数据为 字符串"a",“b”,“c”,“d”,“a”,“a”,“a”,“a”,“a”,“a”,“a”,“a”,“a”,“a”,“a”,“a”，假设分区数为3。由于默认分区器是hashpartitioner,那么a的ASCII对3取模为1，则在1分区，b在2分区，c在0分区，d在1分区。由此可见1分区的数据比其他数据都多得多，这就是数据倾斜。
2.数据倾斜的解决方案
（1）使用Hive ETL预处理数据
（2）过滤掉少量导致数据倾斜的key
（3）提高shuffle操作的并行度
（4）两阶段聚合，即局部聚合+全局聚合
（5）将reduce join转为map join
（6）采样倾斜key并拆分join操作
（7）使用随机前缀和扩容RDD进行join
（8）多种方案一起使用
想进一步了解的话可以参考美团技术团队的文章:https://tech.meituan.com/2016/05/12/spark-tuning-pro.html
