搭建高可用集群

搭建高可用集群

	namenode1	namenode2	datanode	zookeeper	ZKFC	journalNode
baseNode	Y		Y	Y	Y	Y
zknode1		Y	Y	Y	Y	Y
zknode2			Y	Y		Y

1. 准备安装环境

• 上传hadoop，解压到/opt目录

2.vim /opt/hadoop-3.1.2/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_131
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root

#指定ZKFC用户的权限
export HDFS_ZKFC_USER=root
#指定yarn资源管理的权限
export YARN_RESOURCEMANAGR_USER=root
#指定yarn的节点管理的权限
export YARN_NODEMANAGER_USER=root
export HDFS_JOURNALNODE_USER=root

3. 修改vim /opt/hadoop-3.1.2/etc/hadoop/core-site.xml

  
    
    fs.defaultFS
    hdfs://bdp
  
  
    
    hadoop.tmp.dir
    /opt/bdp/hadoop-3.1.2/data/tmp
  


   ha.zookeeper.quorum
   baseNode:2181,zknode1:2181,zknode2:2181


~              

4 .修改 vim /opt/hadoop-3.1.2/etc/hadoop/hdfs-site.xml

  
    bdp
  
  
    
    dfs.ha.namenodes.bdp
    bn,nn1
  
  
    
    dfs.namenode.rpc-address.bdp.bn
    baseNode:8020
  
  
    
    dfs.namenode.rpc-address.bdp.nn1
    zknode1:8020
  
  
    
    dfs.namenode.http-address.bdp.bn
    baseNode:50070
  
  
    
    dfs.namenode.http-address.bdp.nn1
    zknode1:50070
  
  
    
    dfs.namenode.shared.edits.dir
    qjournal://baseNode:8485;zknode1:8485;zknode2:8485/ns1
  
  
    
    dfs.journalnode.edits.dir
    /var/bdp/ha/qjn
  
  
    
    dfs.client.failover.proxy.provider.bdp
    org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
  
  
    
    dfs.ha.fencing.methods
    sshfence
  
  
    dfs.ha.fencing.ssh.private-key-files
    /home/hadoop/.ssh/id_rsa
  


    dfs.ha.automatic-failover.enabled
    true



dfs.replication
2

5. vim hadoop-3.1.2/etc/hadoop/workers

baseNode
zknode1
zknode2
~                    

6. 修改环境变量vim /etc/profile

export HADOOP_HOME=/opt/hadoop-3.1.2
export PATH=$PATH:$HADOOP_HOME/bin:$PATH:$HADOOP_HOME/sbin

启动HA 启动zookeeper【全部主机】

• zkServer.sh start
• zkServer.sh status

启动JournalNode【全部主机】

• hdfs --daemon start journalnode

格式化namenode【仅basenode】

• hdfs namenode -format
• hdfs --daemon start namenode
• 这里启动zknode1的备份namenode
  • hdfs --daemon start journalnode
• 回到baseNode
• hdfs zkfc -formatZK
• start-dfs.sh

大功告成 测试下吧 使用JPS查看下，进程必须和截图相同

打开网页看看，可以。

这里最开始有个问题，就是basenode是standby，我也不知为什么。切换方式，就是重启下active的zkNode1。

hadoop-daemon.sh stop zkfc
hadoop-daemon.sh start  zkfc

[外链图片转存中…(img-cuEVJ4Lh-1639397778405)]

这里最开始有个问题，就是basenode是standby，我也不知为什么。切换方式，就是重启下active的zkNode1。

hadoop-daemon.sh stop zkfc
hadoop-daemon.sh start  zkfc