记一次spark两个大表join数据倾斜调优

a表7亿条
b表1亿条

a表
aid c1 c2 c3
b表
bid bvalue

需求：分别用a表的c1 c2 c3与b表的bid关联（left join），获取bvalue 来扩充a表

1.直接写三个left join 发现数据倾斜
2.c1 c2 c3 只关联一次如下，进行查看，发现不会出现数据倾斜
	df1=spark.sql("select * from b")
	df2=spark.sql("select * from a")
	df3=df2.join(df1,df2.c1=df1.bid,left)
	df3.show()
3.考虑为什么一次join 不会出现数据倾斜，多次join就会出现
4.因为df3.show() 不会用全部的数据去join，或者说show只会返回部分结果，spark不会用全部数据去计算。多次join，两张表先join（是全量数据），再去和下一个join。
5.查看a表的数据情况,发现c1 为null的情况非常多。
	select c1,count(1) as cnt from a group by c1 order by cnt desc;
6.解决办法。虽然c1 c2 c3为null的非常多，但是不能去掉这一行数据。
  两张表又都是大表。所以采用 拆分join
  由于逻辑c1为null c2 c3必为null，所以有如下sql
  df1=spark.sql("select * from a where c1 is not null")
  df2=spark.sql(select * from b)
  df3=df1.join(df2,xx,xx)  三次join

  df4=spark.sql("select * from a where c1 is null")
  df4=df4.withColumn('xx',F.array())  由于bvalue是一个array，所以这里放array

  最后df3 df4 union
  df5=df3.unionAll(df4)

7.调优前job运行16分钟，调优后58s。