搭建hadoop高可用集群

1.上传文件：hadoop.tar.gz
    [root@node01 ~]# tar -zxvf hadoop.tar.gz 
    [root@node01 ~]# mv hadoop /opt/bdp/ 
    [root@node01 ~]# cd /opt/bdp/hadoop/etc/hadoop/
    
    2.修改集群环境:[root@node01 hadoop]# vim hadoop-env.sh
        ##直接在文件的最后添加 
        export JAVA_HOME=/usr/java/jdk1.8 
        export HDFS_NAMENODE_USER=root 
        export HDFS_DATANODE_USER=root 
        export HDFS_ZKFC_USER=root 
        export HDFS_JOURNALNODE_USER=root 
        export YARN_RESOURCEMANAGER_USER=root 
        export YARN_NODEMANAGER_USER=root
        
    3.修改配置文件
        [root@node01 hadoop]# vim core-site.xml
             
            fs.defaultFS 
            hdfs://hdfs-a 
             
             
            hadoop.tmp.dir 
            /var/a/hadoop/ha 
             
             
            hadoop.http.staticuser.user 
            root 
             
             
            ha.zookeeper.quorum 
            node01:2181,node02:2181,node03:2181
            
        [root@node01 hadoop]# vim hdfs-site.xml
             
            dfs.nameservices 
            hdfs-a 
             
            
            dfs.ha.namenodes.hdfs-a nn1,nn2 dfs.namenode.rpc-address.hdfs-a.nn1 node01:8020 dfs.namenode.rpc-address.hdfs-a.nn2 node02:8020 dfs.namenode.http-address.hdfs-a.nn1 node01:9870 dfs.namenode.http-address.hdfs-a.nn2 node02:9870 dfs.namenode.shared.edits.dir qjournal://node01:8485;node02:8485;node03:8485/hdfs-a dfs.journalnode.edits.dir /var/a/hadoop/ha/qjm dfs.client.failover.proxy.provider.hdfs-a org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxy Provider dfs.ha.fencing.methods sshfence shell(true) dfs.ha.fencing.ssh.private-key-files /root/.ssh/id_rsa dfs.ha.automatic-failover.enabled true dfs.replication 2
            
        [root@node01 hadoop]# vim workers
            node01 node02 node03
            
    4.拷贝分发软件
        [root@node02 ~]# scp -r root@node01:/opt/a/hadoop /opt/a/ 
        [root@node03 ~]# scp -r root@node01:/opt/a/hadoop /opt/a/
        
    5. 修改环境变量
        [root@node01 hadoop]# vim /etc/profile
            export HADOOP_HOME=/opt/a/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
        将环境变量拷贝到其他主机
            [root@node01 a]# scp /etc/profile root@node02:/etc/profile [root@node01 a]# scp /etc/profile root@node03:/etc/profile
        重新加载三台服务器的环境变量
            【123】# source /etc/profile
            
    6.先启动Zookeeper
        【123】zkServer.sh start
        【123】zkServer.sh status
        
    7.启动JournalNode
        【123】 hdfs --daemon start journalnode
        
    8.格式化NameNode
        [root@node01 a]# hdfs namenode -format
        [root@node01 a]# hdfs --daemon start namenode
        [root@node02 a]# hdfs namenode -bootstrapStandby
        [root@node01 a]# hdfs zkfc -formatZK
        [root@node01 a]# start-dfs.sh
    
    9.测试集群
        http://node01:9870
        http://node02:9870
        [root@node01 ~]# hdfs dfs -mkdir -p /a
        [root@node01 ~]# hdfs dfs -put zookeeper-3.4.5.tar.gz /a/
        [root@node01 ~]# hdfs dfs -D dfs.blocksize=1048576 -put zookeeper.tar.gz /a/
        
    10.关闭集群
        [root@node01 ~]# stop-dfs.sh
        [123]#zkServer.sh stop
        [123]# shutdown -h now