HA Hadoop完全分布式环境部署

1、背景知识

HDFS HA通常由两个NameNode组成，一个处于Active状态，另一个处于Standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步Active NameNode的状态，以便能够在它失败时快速进行切换。

Hadoop 2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode，这里还配置了一个Zookeeper集群，用于ZKFC故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为Active状态。

YARN的ResourceManager也存在单点故障问题，这个问题在hadoop-2.4.1得到了解决：有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调。

YARN框架下的MapReduce可以开启JobHistoryServer来记录历史任务信息，否则只能查看当前正在执行的任务信息。

Zookeeper的作用是负责HDFS中NameNode主备节点的选举，和YARN框架下ResourceManaer主备节点的选举。

2、使用软件及其版本

环境
- 虚拟机:VirtualBox 6.0.24 r139119
- Linux:CentOS 7
- Windows:Windows10
软件
- JDK:Jdk1.8_131
- Hadoop:Hadoop-2.6.0-cdh5.7.0
- Zookeeper:zookeeper-3.4.5-cdh5.7.0
工具
- 远程连接工具:XShell6
- SFTP工具:FileZilla3.33.0

3、目标

HA Hadoop高可用集群搭建

4、操作步骤

集群规划

- 规划集群由3台主机构成

HA Hadoop高可用集群搭建

Hadoop在前面章节的完全分布式Hadoop的配置环境上搭建(注意:先删除/opt/hdfs/tmp下所有的文件)。

namenode不能热切换,最好安装此插件，在master和slave01上安装，使用命令:
sudo yum -y install psmisc

在mastar主机上修改配置文件

修改hadoop目录下/etc/hadoop/core-site.xml文件,使用命令:

1. 1. vi core-site.xml

1. 1. 指定hdfs的nameservice为名称ns,把两个 NameNode的地址组装成一个集群 -->
    
    fs.defaultFS
    hdfs://ns
    
    指定hadoop数据存放目录-->
    
    hadoop.tmp.dir
    /opt/hdfs/tmp
    
    io.file.buffer.size
    4096
    
    指定zookeeper地址-->
    
    ha.zookeeper.quorum
    master:2181,slave01:2181,slave02:2181
    
      ipc.client.connect.max.retries
      100
    
      ipc.client.connect.retry.interval
      10000

修改hadoop目录下/etc/hadoop/hdfs-site.xml文件,使用命令:

1. 1. vi hdfs-site.xml

1. 1. 完全分布式集群名称,需要和core-site.xml中的保持一致 -->
    
        dfs.nameservices
        ns
    
    
    ns下面有两个NameNode，分别是nn1，nn2 -->
    
        dfs.ha.namenodes.ns
        nn1,nn2
    
    nn1的RPC通信地址 -->
    
        dfs.namenode.rpc-address.ns.nn1
        master:9000
    
    nn1的http通信地址 -->
    
        dfs.namenode.http-address.ns.nn1
        master:50070
    
    nn2的RPC通信地址 -->
    
        dfs.namenode.rpc-address.ns.nn2
        slave01:9000
    
    nn2的http通信地址 -->
    
        dfs.namenode.http-address.ns.nn2
        slave01:50070
    
    指定NameNode的元数据在JournalNode上的存放位置 -->
    
        dfs.namenode.shared.edits.dir
        qjournal://master:8485;slave01:8485;slave02:8485/ns
    
    指定JournalNode在本地磁盘存放数据的位置 -->
    
        dfs.journalnode.edits.dir
        /opt/hdfs/journal
    
    开启NameNode故障时自动切换 -->
    
        dfs.ha.automatic-failover.enabled
        true
    
    配置失败自动切换实现方式 -->
    
        dfs.client.failover.proxy.provider.ns
        org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
    
    配置隔离机制 -->
    
        dfs.ha.fencing.methods
        sshfence
    
    使用隔离机制时需要ssh免登陆 -->
    
        dfs.ha.fencing.ssh.private-key-files
        /home/hadoop/.ssh/id_rsa
    
    
        dfs.namenode.name.dir
        /opt/hdfs/tmp/dfs/name
    
    
    
        dfs.datanode.data.dir
        /opt/hdfs/tmp/dfs/data
    
    
    
        dfs.replication
        3
    
         dfs.permissions
         false
    
    在NN和DN上开启WebHDFS (REST API)功能,不是必须 -->
    
        dfs.webhdfs.enabled
        true

修改hadoop目录下/etc/hadoop/yarn-site.xml文件,使用命令:

1. 1. vi yarn-site.xml

- - :
-     yarn.resourcemanager.ha.enabled
      true
  
  
  
  
      yarn.resourcemanager.ha.automatic-failover.enabled
      true
  
  
  
  
      yarn.resourcemanager.cluster-id
      yarncluster
  
  
  
  
      yarn.resourcemanager.ha.rm-ids
      rm1,rm2
  
  
  
  
      yarn.resourcemanager.hostname.rm1
      slave02
  
  
      yarn.resourcemanager.hostname.rm2
      slave01
  
  
  
  
      yarn.resourcemanager.webapp.address.rm1
      slave02:8088
  
  
      yarn.resourcemanager.webapp.address.rm2
      slave01:8088
  
  
  
  
      yarn.resourcemanager.zk-address
      master:2181,slave01:2181,slave02:2181
  
  
  
  
      yarn.resourcemanager.zk-state-store.parent-path
      /rmstore
  
  
  
  
      yarn.resourcemanager.recovery.enabled
      true
  
  
  
  
      yarn.resourcemanager.store.class
      org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
  
  
  
  
      yarn.nodemanager.recovery.enabled
      true
  
  
  
  
      yarn.nodemanager.address
      0.0.0.0:45454
- 省略后续截图

在master节点复制hadoop目录到slave01,slave02节点，覆盖原有内容，使用命令:

1. 1. -r hadoop-2.6.0-cdh5.7.0/ hadoop@slave01:~/app/
  2. -r hadoop-2.6.0-cdh5.7.0/ hadoop@slave02:~/app/

启动集群

在所有节点(master,slave01,slave02)启动Zookeeper集群

1. 2. start

- - ./zkServer.sh status查看状态

在master节点启动journalnode

- - hadoop安装目录sbin文件夹下，使用命令：

1. 1. start journalnode

- - master,slave01,slave02使用jps 命令查看进程:

在master节点格式化zkfc，使用命令:

1. 1. zkfc -formatZK

在master上格式化hdfs，使用命令:

1. 1. namenode -format

在master上启动namenode

- - hadoop安装目录sbin文件夹下，使用命令：

1. 1. start namenode

- - namenode进程
  - jps命令，查看进程

在slave01上启动数据同步和standby的namenode

- - slave01上，使用命令:

1. 1. namenode -bootstrapStandby

- - hadoop安装目录sbin文件夹下，使用命令：

1. 1. start namenode

- - namenode进程
  - jps命令，查看进程

在master上启动datanode

- - hadoop安装目录sbin文件夹下，使用命令：

1. 1. start datanode

- - master,slave01,slave02节点上，使用jps命令，查看进程

在在slave01和slave02上启动yarn

- - slave01节点和slave02节点上，进入到hadoop安装目录sbin文件夹下，使用命令：

在master上启动zkfc

- - hadoop安装目录sbin文件夹下，使用命令：

1. 1. start zkfc

检验

在所有节点查看进程

1. 1. jps命令:

1. 1. jps命令:

1. 1. jps命令:

- - HA Hadoop集群配置成功~

测试

在(master的ip)192.168.137.2:50070和(slave01的ip)192.168.137.3:50070上查看namenode的状态：

- - active一个是standby状态

访问(slave01)192.168.137.3:8088和(slave02)192.168.137.4:8088查看Yarn的Resourcemanager状态

- - ,访问另一个时跳到前一个的时候并不是错误,那样是正常的
    能访问的那个是active状态,若是两个都能访问则一个是active一个是standby

首先在master主机上想hdfs上传一个文件,然后尝试能否在slave01和slave02上查看

测试是否能够热切换

- - master节点，杀死namenode进程
  - standby的是否变为active，从standby成功变更为active则表示成功

测试yarn HA高可用

5、总结

HA Hadoop完全分布式环境部署

大数据系统相关栏目本月热门文章