栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

YARN高可用部署

YARN高可用部署

在执行YARN HA配置之前,可以参考该文章进行HDFS高可用配置。

HDFS高可用搭建_你可以自己看的博客-CSDN博客

在经过上面HDFS高可用搭建配置之后,接下来的操作就比较简单了

首先修改master中的yarn-site.xml文件

vi /usr/local/hadoop/etc/hadoop/yarn-site.xml

将configuration里的修改为以下内容

        
                yarn.nodemanager.aux-services
                mapreduce_shuffle
        
        
                yarn.resourcemanager.ha.enabled
                true
        

        
        
                yarn.resourcemanager.cluster-id
                RM_CLUSTER
        

        
        
                yarn.resourcemanager.ha.rm-ids
                rm1,rm2
        

        
        
                yarn.resourcemanager.hostname.rm1
                master
        

        
        
                yarn.resourcemanager.hostname.rm2
                slave1
        

        
        
                yarn.resourcemanager.recovery.enabled
                true
        

        
        
                yarn.resourcemanager.store.class                            org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
        

        
        
                yarn.resourcemanager.zk-address
                master:2181,slave1:2181,slave2:2181
        

ResourceManager进程需要单独启动。在slave1上执行命令:

yarn-daemon.sh start resourcemanager

使用浏览器访问http://master:8088,单机Cluster菜单下的about,查看ResourceManager的状态为active

在master中通过jps查看resourceManager的进程号,kill -9 进程号 ,再去访问http://slave1:8088查看是否会自动切换

如下图所示,slave1中的ResourceManager已变成active,说明YARN HA集群能正常工作了。

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/744978.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号