第一个是xshell连接不上虚拟机的问题,用hadoop102连接不上,但是使用192.168.10.102却可以连上的原因,
需要将Linux系统下的,etc/hosts 的前两行注释掉,不然后面配置了也读取不到,导致连接不上虚拟机
千万不要尝试再次复制虚拟机,从头来,这样没有解决根源问题
并且这样还可以解决在后续配置历史服务器无法跳转,web界面无法下载的问题
[lishuang@hadoop104 /]$ cat etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
第二个是运行wordcount失败的问题,这个需要自己去找百度上的方法,查看报错的类型
主要有两种,第一种是内存分配的问题,自己查,报错为code 143
如果遇到的是exitcode143,请参考下面这个博客。出问题原因可能是由于电脑内存8g所以单个服务器只给了2g内存导致的
在yarn-site.xml配置这个
yarn.nodemanager.resource.memory-mb
22528
每个节点可用内存,单位MB
yarn.scheduler.minimum-allocation-mb
1500
单个任务可申请最少内存,默认1024MB
yarn.scheduler.maximum-allocation-mb
16384
单个任务可申请最大内存,默认8192MB
在mapred-site.xml里配置
mapreduce.map.memory.mb
1500
每个Map任务的物理内存限制
mapreduce.reduce.memory.mb
3000
每个Reduce任务的物理内存限制
mapreduce.map.java.opts
-Xmx1200m
mapreduce.reduce.java.opts
-Xmx2600m
mapreduce.framework.name
yarn
第二种是环境配置的问题,感觉也像是文件目录的问题:
在mapred-site.xml配置
yarn.app.mapreduce.am.env
HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3
mapreduce.map.env
HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3
mapreduce.reduce.env
HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3