栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

含泪写下hadoop环境在配置时,可能出现的错误——尚硅谷大数据hadoop入门阶段可能面对的错误2021.12.5-12.19

含泪写下hadoop环境在配置时,可能出现的错误——尚硅谷大数据hadoop入门阶段可能面对的错误2021.12.5-12.19

	第一个是xshell连接不上虚拟机的问题,用hadoop102连接不上,但是使用192.168.10.102却可以连上的原因,
		需要将Linux系统下的,etc/hosts  的前两行注释掉,不然后面配置了也读取不到,导致连接不上虚拟机
		千万不要尝试再次复制虚拟机,从头来,这样没有解决根源问题
		并且这样还可以解决在后续配置历史服务器无法跳转,web界面无法下载的问题
		[lishuang@hadoop104 /]$ cat etc/hosts
		127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
		::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

		192.168.10.100 hadoop100
		192.168.10.101 hadoop101
		192.168.10.102 hadoop102
		192.168.10.103 hadoop103
		192.168.10.104 hadoop104
		192.168.10.105 hadoop105
		192.168.10.106 hadoop106
		192.168.10.107 hadoop107
		192.168.10.108 hadoop108


	第二个是运行wordcount失败的问题,这个需要自己去找百度上的方法,查看报错的类型
		主要有两种,第一种是内存分配的问题,自己查,报错为code 143
		如果遇到的是exitcode143,请参考下面这个博客。出问题原因可能是由于电脑内存8g所以单个服务器只给了2g内存导致的
        在yarn-site.xml配置这个

	 
		  yarn.nodemanager.resource.memory-mb
		  22528
		  每个节点可用内存,单位MB
	 
 
	 
		  yarn.scheduler.minimum-allocation-mb
		  1500
		  单个任务可申请最少内存,默认1024MB
	 
 
	 
		  yarn.scheduler.maximum-allocation-mb
		  16384
		  单个任务可申请最大内存,默认8192MB
	 

     在mapred-site.xml里配置
	 
		  mapreduce.map.memory.mb
		  1500
		  每个Map任务的物理内存限制
	 
 
	 
		  mapreduce.reduce.memory.mb
		  3000
		  每个Reduce任务的物理内存限制
	 
 
	 
		  mapreduce.map.java.opts
		  -Xmx1200m
	 
 
	 
		  mapreduce.reduce.java.opts
		  -Xmx2600m
	 
	 
		  mapreduce.framework.name
		  yarn
	 
	
	第二种是环境配置的问题,感觉也像是文件目录的问题:
	在mapred-site.xml配置
	
		 yarn.app.mapreduce.am.env
		 HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3
	
	
		 mapreduce.map.env
		 HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3
	
	
		 mapreduce.reduce.env
		 HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3
	
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/677161.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号