栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

记录hiveonspark:Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask

记录hiveonspark:Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask

问题描述:
在部署hive on spark,测试时报错,执行建表操作成功,但是插入insert出现以下错误:

Failed to execute spark task, with exception ‘org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 2df0eb9a-15b4-4d81-aea1-24b12094bf44)’
FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 2df0eb9a-15b4-4d81-aea1-24b12094bf44

在/tmp/xiaobai路径下按照所需时间查看hive日志:

原因分析
提示timed out waiting for client connection.表明hive与spark连接时间超时!

解决方法
1). 将/opt/module/spark/conf/目录下spark-env.sh.template文件改成spark-env.sh,之后添加内容export SPARK_DIST_CLASSPATH=$(hadoop classpath);
2). 将/opt/module/hive/conf目录下hive-site.xml修改hive和spark的连接时间。

再次执行insert语句,成功!喜极而泣!

我是昨天晚上就出错的 查了一晚上也没解决 结果今天才解决 不说了 解决另一个bug去了

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/300669.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号