Hive报错FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

• 1、集群环境
• 2、错误由来
• 3、错误原因
• 4、错误分析
• 5、解决办法

CDH集群，hive的引擎是mr。

今天在测试环境的集群里跑hive任务，报错Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask。

这个错误是因为hive的map join参数默认是开启的：

hive.auto.convert.join=true

使用hive进行map join时， 节点内存不够就会报该类型错误。

MapJoin是指在Map 端进行join，其原理是broadcast join，即把小表作为一个完整的驱动表来进行join操作。通常情况下，要连接的各个表里面的数据会分布在不同的Map中进行处理。即同一个Key对应的Value可能存在不同的Map中。这样就必须等到 Reduce中去连接。要使MapJoin能够顺利进行，那就必须满足这样的条件：除了一份表的数据分布在不同的Map中外，其他连接的表的数据必须在每个Map中有完整的拷贝。Map Join会把小表全部读入内存中，在Map阶段直接拿另外一个表的数据和内存中表数据做匹配 (这时可以使用Distributed Cache将小表分发到各个节点上，以供Mapper加载使用)，由于在map时进行了join操作，省去了reduce运行的效率也会高很多。

当机器内存不足时，无法在Map端进行join，即会报错。

• 1、可以关闭上面的map join 改为common join
  shell命令行：set hive.auto.convert.join=false

• 2、修改配置文件下的参数可以把map join 关闭，使用common join
  hive_conf.xml

hive.auto.convert.join
false//true修改为false
Enables the optimization about converting common join into mapjoin