产生数据倾斜有三种原因
- 表连接:如小表连接大表,大表连接大表数据类型不同关联产生数据倾斜空值产生数据倾斜
解决方法:表连接可以用map join 解决倾斜问题数据类型不同可以转换数据类型 可以全部转换成string类型的空值产生的数据类型可以用一个数字来代替空值
可参考:https://blog.csdn.net/weixin_28851191/article/details/111974379
解决方法:表连接可以用map join 解决倾斜问题数据类型不同可以转换数据类型 可以全部转换成string类型的空值产生的数据类型可以用一个数字来代替空值
