hadoop完全分布式搭建（下）

接hadoop伪分布式搭建（中）

思路：将已经搭建好环境的ubuntu上的软件分发至其它服务器

开启克隆的两台虚拟机，进行本地配置（参考hadoop环境搭建（上））

1、设置用户的root权限

2、配置ssh/pdsh

3、生成密钥

4、在rcmd_default添加ssh

5、创建文件夹，并添加权限

6、将jdk/hadoop分发至hadoop2/hadoop3

#修改主机名（每台主机都需要修改，不要弄混了）
$ hostname
$ sudo vim /etc/hostname

#添加映射（IP地址  主机名）
$ sudo vim /etc/hosts

#注意：由于在搭建伪分布式的时候，我们在hadoop的配置文件中指定了要执行#hadoop的用户，因此如果三台服务器的用户名不一致，则需要修改hadoop的配置；

#开始分发到hadoop2的指定文件夹
$ scp -r /opt/modules/hadoop hadoop@hadoop2:/opt/modules/
$ scp -r /opt/modules/jdk hadoop@hadoop2:/opt/modules/

#设置免密登录
$ ssh-copy-id hadoop@hadoop2
$ ssh-copy-id hadoop@hadoop3

#分发到hadoop3
$ scp -r /opt/modules/ hadoop@hadoop3:/opt/

7、配置环境变量（参考hadoop环境搭建（上））

#回到第一台服务器
## 一、分配节点

#HDFS：1NN + 1SNN + 3DN

#YARN：1RM + 3NM

#1、配置hadoop-env.sh
$ cd /opt
$ sudo mkdir hadoopid  # 创建hadoop进程文件夹
$ sudo chown -R hadoop:hadoop /opt/hadoopid

$ cd /opt/modules/hadoop/etc/hadoop
$ vim hadoop-env.sh
#添加下方图片内容

2、配置core-site.xml

$ vim core-site.xml

#创建相应文件夹
$ cd /opt
$ sudo mkdir hadoop
$ sudo chown -R hadoop:hadoop /opt/hadoop

3、配置hdfs-site.xml

$ vim hdfs-site.xml
#有点小错误，这里hadoop2改为hadoop1

4、配置yarn-site.xml

$ vim yarn-site.xml

5、配置mapred-site.xml和配置历史服务器

$ vim mapred-site.xml

# 1、Slaves File
#在etc/hadoop/workers文件中，每行指定一个主机名
$ cd /opt/modules/hadoop/etc/hadoop
$ vim workers

#分发
$ rsync -r /opt/modules/hadoop/etc/hadoop/* hadoop@hadoop2:/opt/modules/hadoop/etc/hadoop/
$ rsync -r /opt/modules/hadoop/etc/hadoop/* hadoop@hadoop3:/opt/modules/hadoop/etc/hadoop/

#格式化namenode
$ hdfs namenode -format
#启动
$ start-all.sh


#查看各节点进程
$ jps