栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

实现hadoop组件分布式守护进程部署

实现hadoop组件分布式守护进程部署

    一般初学Hadoop我们都是把全部的守护进程安装在一台集群上,其他几台集群就会很闲,导致资源分配不全!!! 我的hadoop版本为2.7.1,配置为3台集群

 

 

 

 我们可以更改一下配置文件来达到分配的目的

 

 

 

 

首先配置hdfs-site.xml 

我设置的是hadoop102为SecondaryNameNode的启动节点,建议先按照我的来,后面你们可以自己改

 


      dfs.namenode.secondary.http-address
      hadoop102:50090

这样hdfs就设置好了,下面我们来设置yarn

配置yarn-site.xml

 设置ResourceManager在hadoop101上面启动


yarn.resourcemanager.hostname
hadoop101




yarn.log-aggregation-enable
true




yarn.log-aggregation.retain-seconds
604800

这样就设置好了

我们后面的话就需要把设置的tmp 和logs 文件夹里面的都删了,三台都需要

之后就是格式化和启动了

由于我们设置的hdfs主节点在hadoop上面启动,所以在hadoop上面启动hdfs

#start-dfs.sh

注意不要使用start-all.sh,会报错

查看节点,我们看到Hadoop100上面启动的SecondaryNameNode在Hadoop02上面启动了

 

 

 接着我们启动yarn,注意我们需要在Hadoop101上面启动yarn

#start-yarn.sh

 查看进程

 

 

 已经启动成功了

特别注意的是

这样启动的话需要设置ssh免密登录,

每台集群都可以登录其他的集群

每台集群都可以登录其他的集群

每台集群都可以登录其他的集群

要不就会出现启动yarn卡死的情况

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/344303.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号