栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hive或spark的错误

hive或spark的错误

FAILED: SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session e7509679-36bf-4bf9-973f-a091ddf0cb79

 

因为这个问题是偶发性的,并不是一开始就抛出这个异常。所以一个晚上都是调试,最后发现当这个队列资源达到100%后,如果短期内都没有任务空余资源释放出来提供给创建 sparksession使用,将会导致任务失败而抛出这个异常 。

解决办法 :加大client连接时间间隔;

修改hive的配置文件hive-site.xml


    hive.spark.client.connect.timeout
    100000ms

或者在命令行中修改参数(临时的)

set hive.spark.client.server.connect.timeout=100000; 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/683183.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号