hadoop高可用三台

基础

主机映射

vi /etc/hosts 192.168.176.46 master 192.168.176.47 slave1 192.168.176.48 slave2

主机名

vi /etc/hostname

防火墙

systemctl stop firewalld systemctl disable firewalld

密钥

ssh-keygen -t rsa ssh-copy-id root@主机名（映射里的）|id

时间同步

date --s "20200615 10:11:02"

每台机子输入

zookeeper配置

三个节点

1，master：

1，解压zookeeper压缩包，

2，进入conf,然后cp zoo_sample.cfg zoo.cfg (mkdir 无法创建目录“”：删除模板)

3,写zoo.cfg:ps

dataDir=/usr/local/src/zookeeper-3.4.5/DataZk 
server.1=master:2888:3888 
server.2=slave1:2888:3888 
server.3=slave2:2888:3888

4，创建/usr/local/src/zookeeper-3.4.5/DataZk

5，进入DataZk ：

echo 1 > myid

2，复制到另外两个节点：scp -r 路径 root@namenode2:路径

3，修改myid :2 3 (对应zoo.cfg的server)

4，启动：到bin目录：./zkServer.sh start 三台

5，三台都启动后查看状态：./zkServer.sh status

hadoop配置

三个节点，

1，将hadoop压缩包解压到/usr/local/src

tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local/src

2,进入hadoop的etc/hadoop目录

cd /usr/local/src/hadoop-2.6.0/etc/hadoop/

3,修改hadoop-env.sh

export JAVA_HOME=/usr/local/src/jdk1.8.0_221 export HADOOP_HOME=/usr/local/src/hadoop-2.6.0 export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

4,配置core-site.xml,,（集群名字，tmp，zookeeper）

    
    
        fs.defaultFS
        hdfs://ns
    
    
    
        ha.zookeeper.quorum
        master:2181,slave1:2181,slave2:2181
    
    
    
        hadoop.tmp.dir
        /usr/local/src/hadoop-2.6.0/tmp
    

5,hdfs-site.xml(集群名字，双namenode，元数据备份，故障转移，隔离，数据保存，备份和权限)

    
        dfs.nameservices
        ns
    
    
    
        dfs.ha.namenodes.ns
        nn1,nn2
    
    
    
        dfs.namenode.rpc-address.ns.nn1
        master:9000
    
    
    
        dfs.namenode.http-address.ns.nn1
        master:50070
    
    
    
        dfs.namenode.rpc-address.ns.nn2
        slave1:9000
    
    
    
        dfs.namenode.http-address.ns.nn2
        slave1:50070
    
    
    
        dfs.namenode.shared.edits.dir
        qjournal://master:8485;slave1:8485;slave2:8485/ns
    
    
    
        dfs.journalnode.edits.dir
        /usr/local/src/hadoop-2.6.0/journal
    
    
    
        dfs.ha.automatic-failover.enabled
        true
    
    
    
        dfs.client.failover.proxy.provider.ns
        org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
    
    
    
        dfs.ha.fencing.methods
        sshfence
    
    
    
        dfs.ha.fencing.ssh.private-key-files
        /root/.ssh/id_rsa
    
    
    
        dfs.namenode.name.dir
        file:///usr/local/src/hadoop-2.6.0/tmp/namenode
    
    
    
        dfs.datanode.data.dir
        file:///usr/local/src/hadoop-2.6.0/tmp/datanode
    
    
    
        dfs.replication
        3
    
    
    
        dfs.permissions
        false
    

6.配置mapred-site.xml

    
        
        mapreduce.framework.name
        yarn
    

7.配置yarn-site.xml(开启高可用，名字，双rm，故障转移，设置主，nm处理）

    
        yarn.resourcemanager.ha.enabled
        true
    
    
    
        yarn.resourcemanager.ha.rm-ids
        rm1,rm2
    
    
    
        yarn.resourcemanager.hostname.rm1
        master
    
    
        yarn.resourcemanager.hostname.rm2
        slave1
    
    
    
        yarn.resourcemanager.recovery.enabled
        true
    
    
    
        yarn.resourcemanager.store.class
        org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
    
    
    
        yarn.resourcemanager.zk-address
        master:2181,slave1:2181,slave2:2181
        For multiple zk services, separate them with comma
    
    
    
        yarn.resourcemanager.cluster-id
        yarn-ha
    
    
        
        yarn.resourcemanager.hostname
        master
    
    
        
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

     

8.创建tmp和journal,在 hadoop-2.6.0目录中

mkdir  journal
mkdir tmp
cd tmp
mkdir namenode
mkdir datanode

9.修改slaves

vi slaves
master
slave1
slave2

10.环境变量

JAVA_HOME=/usr/local/src/jdk1.8.0_221
ZK_HOME=/usr/local/src/zookeeper-3.4.5
HADOOP_HOME=/usr/local/src/hadoop-2.6.0
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$ZK_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export PATH ZK_HOME CLASSPATH HADOOP_HOME

11， 和拷贝

scp

启动hadoop集群

先格式化zookeeper：master

[root@master]# hdfs zkfc -formatZK

1，格式化：在master节点上

hdfs zkfc -formatZK

2.启动journalNode集群，在datanode1、2、3上输入

hadoop-daemon.sh start journalnode

3,格式化namenode1节点的namenode，在namenode1上输入

hadoop namenode -format

4,启动namenode1节点的namenode(active)，在namenode1上输入

hadoop-daemon.sh start namenode

5,设置namenode2为备用节点，在namenode2上输入

hdfs namenode -bootstrapStandby

6，启动namenode2的namenode（备用），在namenode2上输入

hadoop-daemon.sh start namenode

7，启动datanode，在namenode1上输入

hadoop-daemons.sh start datanode

8，在namenode1和namenode2启动zkfc，在这两个节点上输入

hadoop-daemon.sh start zkfc

9,启动yarn，在namenode1和namenode2上输入

start-yarn.sh

10,在本地电脑上做映射C:WindowsSystem32driversetc

192.168.176.46 master
192.168.176.47 slave1
192.168.176.48 slave2

11，下载包：

yum -y install psmisc

12，在浏览地址上输入namenode1:5007