Container killed by YARN for exceeding memory limits…
Consider boosting spark.yarn.executor.memoryOverhead
内存溢出,百度了好多,都说调整这个那个参数,都未成功。
后发现是数据倾斜问题造成
解决:根据提示代码1040行定位到原因,某个rdd groupBy的key全为空,导致数据倾斜

Container killed by YARN for exceeding memory limits…
Consider boosting spark.yarn.executor.memoryOverhead
内存溢出,百度了好多,都说调整这个那个参数,都未成功。
后发现是数据倾斜问题造成
解决:根据提示代码1040行定位到原因,某个rdd groupBy的key全为空,导致数据倾斜