栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hive执行 报错:FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask

Hive执行 报错:FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask


项目场景:

 

HiveOnSpark环境下执行hive脚本,报错。



问题描述:

提示:这里描述项目中遇到的问题:
例如:数据传输过程中数据不时出现丢失的情况,偶尔会丢失一部分数据
APP 中接收数据代码:

@Override public void run() { bytes = mmInStream.read(buffer); mHandler.obtainMessage(READ_DATA, bytes, -1, buffer).sendToTarget(); } 


原因分析:

 通过在网上找资料:发现主要原因是数据倾斜导致的问题。executor内存不足导致spark task的任务失败。



解决方案:

解决方法 1:
对数据更大的表通过进行GROUP BY 还有去重 等操作,减少数据量。
解决方法 2:

修改hive的配置参数
set hive.auto.convert.join = false;
说明: 将Join转成普通的Map Join
默认值: false
set hive.ignore.mapjoin.hint = false;
说明:  忽略mapjoin hint ,即mapjoin标记
默认值: true,默认忽略
set hive.exec.parallel = true;
说明:是否并行提交任务
默认值:false,关闭此功能
 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/651241.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号