栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hadoop集群迁移, hive任务执行报错:Container exited with a non-zero exit code 1. Error file: prelaunch.err

hadoop集群迁移, hive任务执行报错:Container exited with a non-zero exit code 1. Error file: prelaunch.err

hadoop 集群迁移 , apache原生版本迁移到cdh版本时 , hive任务执行报错:

Container exited with a non-zero exit code 1. Error file: prelaunch.err. 
Last 4096 bytes of prelaunch.err : 
Last 4096 bytes of stderr :  

因为未改动脚本, 以为是集群问题,期间尝试了以下方法, 发现并无效果:

#在mapred-site.xml文件中添加mapreduce所需要用到的classpath。
#$HADOOP_MAPRED_HOME 为Hadoop 绝对路径 

   mapreduce.application.classpath
   $HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*, $HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*
 

后来经验证直接在命令行执行hivesql可以执行成功, 锁定为脚本问题, 发现脚本内有如下设置:

set mapreduce.map.java.opts=-Xmx4096m;
set mapreduce.map.java.opts=-Xms4096m;

改成

set mapreduce.map.java.opts='-Xmx4096m';
set mapreduce.map.java.opts='-Xms4096m';

翻阅了文档, 发现cdh指定了set变量的数据格式, 字符串需加引号。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/630036.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号