1、提交job运行,没有输出结果
2、前往Jobhistory查看运行日志
3、查看日志详情,报beyond the 'VIRTUAL' memory limit
原理解答:mapreduce内存分配
解决方法:在 hadoop/etc/hadoop/mapred-site.xml 添加如下配置
mapreduce.map.memory.mb 1536 mapreduce.map.java.opts -Xmx1024M mapreduce.reduce.memory.mb 3072 mapreduce.reduce.java.opts -Xmx2560M
重启hadoop集群
再次提交Job,运行成功,输出结果!



