前面已完成VMware虚拟机安装与配置（参考前一篇Hadoop完全分布式集群——VMware虚拟机安装与配置_夏雨和阳阳的博客-CSDN博客），下面将进行Hadoop 配置。
一、slave1、slave2节点配置修改slave1、slave2节点都需要进行以下操作：
1.开启虚拟机，输入命令：[root@slave1 ~]#ip addr
[root@slave2 ~]#ip addr
2.修改slave1、slave2虚拟机的IP[root@slave1 ~]#vi /etc/sysconfig/network-scripts/ifcfg-ens33
[root@slave12 ~]#vi /etc/sysconfig/network-scripts/ifcfg-ens33
修改slave1为IPADDR=192.168.128.131，修改slave2为IPADDR=192.168.128.132。
3.修改slave1、slave2虚拟机的主机名[root@slave1 ~]#vi /etc/hostname
[root@slave2 ~]#vi /etc/hostname
主节点为 master，子节点分别为 slave1、slave2。
4.slave1、slave2虚拟机重启网络服务[root@slave1 ~]#service network restart
[root@slave2 ~]#service network restart
5.查看slave1、slave2虚拟机 IP、主机名是否修改[root@slave1 ~]#ip addr
[root@slave2 ~]#ip addr
6.reboot 重启slave1、slave2虚拟机。root@slave1 ~]#reboot
root@slave2 ~]#reboot
二、 配置master、slave1、slave2虚拟机无密码登录 1.配置 IP 映射(master、slave1、slave2每个节点都需修改)[root@master ~]#vi /etc/hosts
[root@slave1 ~]#vi /etc/hosts
[root@slave2 ~]#vi /etc/hosts
依次添加如下内容：
192.168.128.130 master
192.168.128.131 slave1
192.168.128.132 slave2
2.配置 SSH 无密码登录（1） 使用 ssh-keygen 产生公钥与私钥对。
在master虚拟机输入命令：
[root@master ~]# ssh-keygen -t rsa
执行过程中需要按三次 Enter 键。
生成私有密钥 id_rsa 和公有密钥 id_rsa.pub 两个文件。ssh-keygen 用来生成 RSA类型的密钥以及管理该密钥,参数“-t”用于指定要创建的 SSH 密钥的类型为RSA。
（2）用 ssh-copy-id 将公钥复制到slave1、slave2虚拟机中
[root@master ~]# ssh-copy-id -i /root/.ssh/id_rsa.pub slave1 //依次输入 yes，123456(root 用户的密码)
[root@master ~]# ssh-copy-id -i /root/.ssh/id_rsa.pub slave2 //依次输入 yes，123456(root 用户的密码)
（3）验证是否设置无密码登录
依次输入：
[root@master ~]# ssh slave1 //下图表示无密码登陆slave1成功
[root@master ~]# exit //下图表示退出slave1
用同样的方法验证slave2是否设置无密码登录。
（4）配置宿主机SSH 无密码登录master、slave1、slave2虚拟机
为了便于连接和操作master、slave1、slave2虚拟机，也需要配置SSH 无密码登录。在宿主机上操作如下：
[root@localhost~]#vi /etc/hosts
依次添加如下内容：
192.168.128.130 master
192.168.128.131 slave1
192.168.128.132 slave2
[root@localhost~]# ssh-keygen -t rsa
执行过程中需要按三次 Enter 键。
[root@localhost~]# ssh-copy-id -i /root/.ssh/id_rsa.pub master //依次输入 yes，123456(root 用户的密码)
[root@localhost ~]# ssh-copy-id -i /root/.ssh/id_rsa.pub slave1 //依次输入 yes，123456(root 用户的密码)
[root@localhost ~]# ssh-copy-id -i /root/.ssh/id_rsa.pub slave2 //依次输入 yes，123456(root 用户的密码)
[root@localhost ~]# ssh master
[root@localhost ~]# ssh slave1
[root@localhost ~]# ssh slave1
三、安装 jdk(每个节点都需安装)用的是JDK1.8.0_131版本（jdk-8u131-linux-x64.tar.gz），有需要从百度网盘中下载。
下载链接：https://pan.baidu.com/s/1P2fkRonIVO-DZMNKNgCCKA
提取码：ml01
1. 解压并安装/opt 目录[root@master opt]#tar -zxvf jdk-8u131-linux-x64.tar.gz
2.修改环境变量[root@master ~]#vi /etc/profile
添加如下内容：
export JAVA_HOME=/opt/jdk1.8.0_131
export PATH=$PATH:$JAVA_HOME/bin
[root@master ~]#source /etc/profile //使配置生效
3.验证 JDK 是否配置成功[root@master ]#java -version
4.将master上的配置好的JDK分发到slave1、slave2上[root@master ]#scp -r /opt/jdk1.8.0_131 root@slave1:/opt
[root@master ]#scp -r /opt/jdk1.8.0_131 root@slave2:/opt
5.环境变量配置生效[root@slave1 ~]#source /etc/profile
[root@slave2 ~]#source /etc/profile
6.验证 slave1、slave2中的JDK 是否配置成功[root@slave1 ~]#java -version
[root@slave2 ~]#java -version
四、 Hadoop2.7.7 安装与配置用的是Hadoop2.7.7版本（hadoop-2.7.7.tar.gz），有需要从百度网盘中下载。
下载链接：https://pan.baidu.com/s/13Mc6YsbHiZPkbozJUMuahg
提取码：mt1s
1.解压并安装/usr/local目录（主节点进行）[root@master ]#tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local
解压后即可看到/usr/local/hadoop-2.7.7文件夹。
2.配置 Hadoop（1）进入目录
[root@master ]#cd /usr/local/hadoop-2.7.7/etc/hadoop
依次修改以下配置文件(使用 vi 命令对文件进行修改 如 vi core-site.xml)，修改完按ESC键，输入:wq!保存退出。
注：文件中存在
（2）修改core-site.xml
[root@master hadoop]#vi xore-site.xml
添加如下内容：
（3）修改hadoop-env.sh
[root@master hadoop]#vi hadoop-env.sh
修改如下内容：
# The java implementation to use.
export JAVA_HOME=/opt/jdk1.8.0_131
（4）修改hdfs-site.xml
[root@master hadoop]#vi hdfs-site.xml
添加如下内容：
（5）修改mapred-site.xml
此目录下并没有mapred-site.xml，须复制mapred-site.xml.template生成。命令如下：
[root@master hadoop]#cp mapred-site.xml.template mapred-site.xml
[root@master hadoop]#vi mapred-site.xml
添加如下内容：
（6）修改yarn-site.xml
[root@master hadoop]#vi yarn-site.xml
添加如下内容：
/usr/local/hadoop-2.7.7/etc/hadoop:/usr/local/hadoop-2.7.7/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.7/share/hadoop/common/*:/usr/local/hadoop-2.7.7/share/hadoop/hdfs:/usr/local/hadoop-2.7.7/share/hadoop/hdfs/lib/*:/usr/local/hadoop2.7.7/share/hadoop/hdfs/*:/usr/local/hadoop-2.7.7/share/hadoop/mapreduce/lib/*:/usr/local/hadoop-2.7.7/share/hadoop/mapreduce/*:/usr/local/hadoop-2.7.7/share/hadoop/yarn:/usr/local/hadoop-2.7.7/share/hadoop/yarn/lib/*:/usr/local/hadoop-2.7.7/share/hadoop/yarn/*
（7）修改yarn-env.sh
[root@master hadoop]#vi yarn-env.sh
修改如下内容：
# some Java parameters
export JAVA_HOME=/opt/jdk1.8.0_131
（8）修改workers
[root@master hadoop]#vi workers
删除原有 localhost，添加：
master
slave1
slave2
（9）修改slaves
[root@master hadoop]#vi slaves
删除原有 localhost，添加：
slave1
slave2
3.拷贝 hadoop 安装文件到集群 slave1、slave2 节点[root@master hadoop]#scp -r /usr/local/hadoop-2.7.7 root@slave1:/usr/local
[root@master hadoop]#scp -r /usr/local/hadoop-2.7.7 root@slave2:/usr/local
[root@master ～]#vi /etc/profile //添加 Hadoop 路径
添加以下内容：
export HADOOP_HOME=/usr/local/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin
[root@master ～]#source /etc/profile //配置生效
slave1、slave2 节点操作同上。
5.master节点上格式化 NameNode[root@master ～]#cd /usr/local/hadoop-2.7.7/bin
[root@master ～]#./hdfs namenode -format
注：hadoop 集群只需要格式化一次即可，后续启动无需格式化。
6.master主节点启动Hadoop[root@master ～]#cd /usr/local/hadoop-2.7.7sbin
[root@master ～]#./start-dfs.sh
[root@master ～]#./start-yarn.sh
[root@master ～]#./mr-jobhistory-daemon.sh start historyserver
7.使用 jps，查看进程8.slave1、slave2子节点没有datanode进程
此时须重启子节点，进入子节点对应的sbin目录，执行：
[root@slave1 ～]#cd /usr/local/hadoop-2.7.7/sbin
[root@slave1 sbin]#hadoop-daemon.sh start datanode
[root@slave1 sbin]#hadoop-daemon.sh start tasktracker（该命令可能会失效，所以失效的话就跳过该条命令）
使用jps查看进程已正常显示datanode进程。
9.在宿主机上添加映射[root@localhost ～]#vi etchosts //添加 IP 映射
添加如下内容：
192.168.128.130 master
192.168.128.131 slave1
192.168.128.132 slave2
查看HDFS的NameNode：http://master:50070
查看YARN的ResourceManager：http://master:8088
