栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Spark job failed during runtime. Please check stacktrace for the root cause.

Spark job failed during runtime. Please check stacktrace for the root cause.

spark日志:Caused by: java.io.IOException: Connection reset by peer

hive on spark进行数据装载时报的错,百度了好多解决方法,也试了好多

最后发现是分区太多卡住的。。。。无语。。。。按天分区改成按月分区就可以了

但是不能一直按月分区呀,就设置了临时动态分区数:

SET hive.exec.max.dynamic.partitions=100000;  //设置 hive的最大动态分区数
SET hive.exec.max.dynamic.partitions.pernode=100000;

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/707388.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号