栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

JAVA大数据的第五十八天——hadoop高可用集群搭建

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

JAVA大数据的第五十八天——hadoop高可用集群搭建

这次安装是用4台虚拟机进行安装的,分别是gree129,gree131,gree132,gree134

1、vi ./core-site.xml



    fs.defaultFS
    hdfs://mycluster/
 


    hadoop.tmp.dir
    /opt/soft/hadoop260/hadooptmp
 

 
    ha.zookeeper.quorum
    gree131:2181,gree132:2181,gree134:2181
 

 
    hadoop.proxyuser.bigdata.hosts
    *
 

 
    hadoop.proxyuser.bigdata.groups
    *
 


2.vi ./hdfs-site.xml


 
   
    dfs.nameservices
    mycluster
 

 
 
    dfs.ha.namenodes.mycluster
    nn1,nn2
 


 
    dfs.namenode.rpc-address.mycluster.nn1
    gree129:9000
 


 
    dfs.namenode.http-address.mycluster.nn1
    gree129:50070
 


 
    dfs.namenode.rpc-address.mycluster.nn2
    gree131:9000
 




    dfs.namenode.http-address.mycluster.nn2
    gree131:50070
 



 
   dfs.journalnode.edits.dir
   /opt/soft/hadoop260/journaldata
 


 
    dfs.namenode.shared.edits.dir
    qjournal://gree129:8485;gree131:8485;gree132:8485/mycluster
 


 
    dfs.ha.automatic-failover.enabled
    true
 


 
    dfs.client.failover.proxy.provider.mycluster
    org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
 



 dfs.ha.fencing.methods
 
   sshfence
   shell(/bin/true)
 



  dfs.ha.fencing.ssh.private-key-files
  /root/.ssh/id_rsa



   dfs.ha.fencing.ssh.connect-timeout
   30000


   dfs.webhdfs.enabled
   true

3. vi ./yarn-site.xml
 
 
 
    yarn.resourcemanager.ha.enabled
    true
 

 
 
    yarn.resourcemanager.cluster-id
    yrc
 

 
 
    yarn.resourcemanager.ha.rm-ids
    rm1,rm2
 


 
 
    yarn.resourcemanager.hostname.rm1
    gree135
 

 
 
    yarn.resourcemanager.hostname.rm2
    gree136
 

 
 
    yarn.resourcemanager.zk-address
    gree135:2181,gree136:2181,gree137:2181
 

 
 
    yarn.nodemanager.aux-services
    mapreduce_shuffle
 

 
 
    yarn.log-aggregation-enable
    true
 

 
 
    yarn.log-aggregation.retain-seconds
    86400
 

 
 
    yarn.resourcemanager.recovery.enabled
    true
 


 
 
    yarn.resourcemanager.store.class
    org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
 

4.vi ./slaves
gree128
gree129
gree131
gree132
gree134

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/423964.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号