栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

spark 数据倾斜(spark数据倾斜的解决方法)

spark 数据倾斜(spark数据倾斜的解决方法)

1、使用Hive ETL处理数据

相当于将数据倾斜提前到Hive中,Hive的底层是MapReduce,运行稳定,不容易失败,而Spark如果出现数据倾斜,很容易崩溃报错。

2、过滤导致少数倾斜的key
比如数据中有很多null的数据,对业务无影响的前提下,可以在shuffle之前过滤掉。

3、提高shuffle操作的并行度 groupbykey(100)
提高并行度,相当于增加了reducetask的数量,每一个reducetask中分区的数据量就会减小,可以缓解数据倾斜。

4、双重聚合
增加随机前缀聚合一次,再去掉前缀聚合 一次,代码会变得很复杂,对于很复杂的业务逻辑代码很难实现。

5、将reduce join转为map join
在map端进行关联,避免shuffle,没有shuffle就没有数据倾斜,只适用于大表关联小表(小表的数据量在1g左右)

6、采样倾斜key并拆分join操作
适用于大表关联小表,其中一个表数据分布不均,将倾斜的数据单独抽取出来使用mapjoin剩下没有倾斜的数据正常的join,最后将两次join的数据union在一起

7、使用随机前缀和扩容RDD进行join
很少使用,会导致rdd膨胀

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/771930.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号