版权所有 © 作者本人 2021。 保留一切权利。
非经本公司书面许可，任何单位、任何个人不得擅自摘抄、复制本文挡内容的部分或全部，并不得以任何形式进行传播。
若各位小伙伴需要转发，请注明出处，感谢您的理解！
注意
您在使用本文档完成相关实验的同时，希望您真的能够从中获取到有价值的信息，帮助您找到动手带来的快感。如有建议和需求，您可通过邮件的方式联系我们，我们将根据您宝贵的建议进行完善，感谢您的理解与支持！
由于文档迭代更新或者其他原因，本文档的内容会不定期的进行更新。除非另外有相关的约定，本文档仅作为实验指导，本文档中的所有陈述、信息和建议不构成任何明示或者暗示的担保。
本次实验的内容，均是基于Linux操作系统来完成的，而我们个人计算机想要完成实验，需要借助于虚拟机化的软件，如：VMWare WorkStations，此次我们的所有实验，均基于VMWare WorkStations 15 Pro来完成。
需要特别说明的是：VMWare WorkStations为付费软件，我们平时做实验是可以的，但是不可用作任何商业用途，若因此被追究法律责任，与文档的编写者无关！
本次基于VMWare WorkStations来完成实验，采用的Linux操作系统为：rhel-server-7.0-x86_64-dvd，若各位平时习惯了使用CentOS系统的操作系统，也可采用CentOS来完成本次的所有实验。
我们的实验预计共需要虚拟机4台，其中3台用来做集群，1台用来做单节点的部署和数据备份节点，具体的规划如表1-1所示。
| 序号 | 主机名称 | 主机IP地址 | 主机操作系统 | 说明 |
|---|---|---|---|---|
| 01 | hadoop1 | 192.168.52.15 | rhel-server-7.0-x86_64 | 集群中的主节点 |
| 02 | hadoop2 | 192.168.52.16 | rhel-server-7.0-x86_64 | 集群中的从节点 |
| 03 | hadoop3 | 192.168.52.17 | rhel-server-7.0-x86_64 | 集群中的从节点 |
| 04 | hadoop4 | 192.168.52.18 | rhel-server-7.0-x86_64 | 单节点/扩容节点 |
若各位小伙伴因自己个人计算机性能不佳等原因，造成无法在自己个人计算机上完成相关的实验，也可在华为公有云上注册一个账号，在公有云“购买”相应的“弹性云服务器”来进行相应的实验，在云服务器采购完成后，可通过CRT等远程连接工具，直接连接华为云提供的弹性IP地址，即可完成相应的操作。但此等操作需要付费，而且不是很方便，所以建议大家慎用。
1.2 创建虚拟机 1.2.1 新建虚拟机单击“文件”→“新建虚拟机”，打开“新建虚拟机向导”，根据向导完成虚拟机的安装
在这里我们选择“自定义（高级）”，单击“下一步”按钮继续安装流程
直接默认的选择即可，无需进行任何内容的修改，单击“下一步”按钮，继续安装流程、
选择“安装程序光盘镜像文件（iso）”处，单击“浏览”按钮，打开“浏览ISO映像”对话框，在该对话框中找到需要的镜像文件后，单击“打开”按钮
在执行到该步骤后，对话框中会显示“已检测到Red Hat Enterprise Linux 7 64位”的字样，出现该字样后，选择“稍后安装操作系统”，单击“下一步”按钮继续
我们使用的操作系统为Red Hat Enterprise Linux 7 64位，故在此也要选对应版本的操作系统，在“客户机操作系统”处，选择“Linux”，在“版本”的位置选择“Red Hat Enterprise Linux 7 64位”，单击“下一步”按钮继续
在“虚拟机名称”处，输入想要为虚拟机起的名字，以便于区分虚拟机，安装位置默认在C盘，但不建议将虚拟机安装在C盘（如果你的C盘特别大，当这句话不存在即可），单击“下一步”按钮继续
如果电脑条件允许的情况下，建议处理器数量给2个，如果条件不允许，默认即可
若电脑配置允许的情况下，建议给虚拟机配置2GB的内存，即2048MB，单击“下一步”按钮继续安装
在这里我们先选择“使用网络地址转换（NAT）”模式，等后续进入虚拟机之后，我们再手动修改虚拟机的网络配置，单击“下一步”按钮继续
在这里，默认即可，单击“下一步”按钮继续安装
在这里，选择默认的“SCSI”类型即可，单击“下一步”按钮，继续安装
选择“创建新虚拟磁盘”，单击“下一步”按钮继续安装
虚拟机磁盘容量尽可能给大点，但切记不要勾选“立即分配所有磁盘空间”，单击“下一步”按钮继续安装
该选项，默认即可，单击“下一步”按钮继续安装
单击“自定义硬件”按钮，打开“硬件”对话框
在打开的“硬件”对话框中，选择“新CD/DVD（SATA）”“使用ISO映像文件”处单击“浏览”按钮选择对应的ISO镜像文件，单击“打开”按钮单击“关闭”按钮
单击“开启此虚拟机”将刚刚创建好的虚拟机启动
在此界面的中，利用键盘的方向键“”选择，“Install Red Hat Enterprise Linux 7.0”后按“回车”键继续
在这里强烈建议大家使用英文的（默认即为英文），这样有利于后面的一些操作，也更加接近于实际的工作环境
我们处于亚洲地区，应该将时区配置为“东八区”，选择上海
默认为最小化安装（只有命令行），我们建议大家选择统一GUI（带图形化）的安装方式，本实验手册为最小化安装
配置虚拟机的网络，将虚拟机的网卡开启
所有的准备工作做好了以后，单击“Begin Installation”按钮，开始安装。
为虚拟机设置root用户的登录密码，此密码至关重要，所以请各位小伙伴设置完成了一定要记得，不要忘记了密码
该用户为普通用户，也可用于虚拟机的登录
将已经创建成功的虚拟机进行关机操作，待电源完全关闭后，在虚拟机上右键打开快捷菜单，在打开的快捷菜单中选择“管理”“克隆”：
在该对话框中直接单击“下一页”即可
克隆源选择“虚拟机中的当前状态”，单击“下一页”按钮继续
选择“创建完整克隆”选项，创建完整且独立的虚拟机
为新克隆的虚拟机设置虚拟机的名称，并指定虚拟机的安装位置
[yutianedu@localhost ~]# ip add
输出结果，如下图所示
[yutianedu@localhost Desktop]$ su - Password:
PS：这里输入密码的时候，Linux出于安全考虑，默认就是不显示的，不要怀疑自己的键盘坏了啊。不是键盘坏了！不是键盘坏了！不是键盘坏了！重要的事情说三遍！
1.5.3 修改网卡配置文件[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
输出结果，如下图所示
修改后的配置文件，如下图所示：
[root@localhost ~]# systemctl restart network [root@localhost ~]# systemctl status network
查看网卡的运行状态，输出结果如下图所示：
验证网络的连通性
[root@localhost ~]# ping www.yutianedu.com
输出结果，如下图所示
PS：三台虚拟机的网络配置方法一样，在此就不做重复的赘述了。
| 序号 | IP地址 | 主机名称 |
|---|---|---|
| 01 | 192.168.52.15 | hadoop1 |
| 02 | 192.168.52.16 | hadoop2 |
| 03 | 192.168.52.17 | hadoop3 |
| 04 | 192.168.52.15 | hadoop4 |
1）hadoop1节点
[root@localhost ~]# hostnamectl set-hostname hadoop1 [root@localhost ~]# bash
2）hadoop2节点
[root@localhost ~]# hostnamectl set-hostname hadoop2 [root@localhost ~]# bash
3）hadoop3节点
[root@localhost ~]# hostnamectl set-hostname hadoop3 [root@localhost ~]# bash
4）hadoop4节点
[root@localhost ~]# hostnamectl set-hostname hadoop4 [root@localhost ~]# bash1.7 配置主机域名映射 1.7.1 配置hadoop1节点的主机域名映射
[root@hadoop1 ~]# vi /etc/hosts 192.168.52.15 hadoop1 192.168.52.16 hadoop2 192.168.52.17 hadoop3 192.168.52.18 hadoop41.7.2 配置hadoop2节点的主机域名映射
[root@hadoop2 ~]# vi /etc/hosts 192.168.52.15 hadoop1 192.168.52.16 hadoop2 192.168.52.17 hadoop3 192.168.52.18 hadoop41.7.3 配置hadoop3节点的主机域名映射
[root@hadoop3 ~]# vi /etc/hosts 192.168.52.15 hadoop1 192.168.52.16 hadoop2 192.168.52.17 hadoop3 192.168.52.18 hadoop41.7.4 配置hadoop4节点的主机域名映射
[root@hadoop4 ~]# vi /etc/hosts 192.168.52.15 hadoop1 192.168.52.16 hadoop2 192.168.52.17 hadoop3 192.168.52.18 hadoop41.8 配置主机间免密登录 1.8.1 安装公私密钥
[root@hadoop1 ~]# ssh-keygen
输出结果，如下图所示
1）配置前往hadoop1节点的免密登录
[root@hadoop1 ~]# ssh-copy-id hadoop1
2）配置前往hadoop2节点的免密登录
[root@hadoop1 ~]# ssh-copy-id hadoop2
3）配置前往hadoop3节点的免密登录
[root@hadoop1 ~]# ssh-copy-id hadoop3
4）配置前往hadoop4节点的免密登录
[root@hadoop1 ~]# ssh-copy-id hadoop41.9 配置本地YUM源
为了后续安装软件更加方便，可以事先为虚拟机配置好YUM源
1.9.1 上传镜像文件注：rz小工具并非所有系统都有预装，大家可以根据自己的喜好，选择对应的上传工具。
[root@hadoop1 ~]# ll
输出结果，如下图所示
[root@hadoop1 ~]# mkdir /mnt/iso/1.9.4 挂载镜像文件
**[root@hadoop1 ~]# mount -o loop rhel-server-7.0-x86_64-dvd.iso /mnt/iso/**
输出结果，如下图所示
注：此挂载方法为临时挂载，即重启系统后，需要重新挂载才能够正常使用。
系统的yum源存放于“/etc/yum.repos.d/”目录中
[root@hadoop1 ~]# cd /etc/yum.repos.d/ [root@master yum.repos.d]# vim redhat.repo [redhat] name = redhat baseurl = file:///mnt/iso enable = 1 gpgcheck = 01.9.6 清除系统原有缓存
[root@hadoop1 ~]# yum clean all
输出结果，如下图所示
[root@hadoop1 ~]# yum makecache
输出结果，如下图所示
[root@hadoop1 ~]# yum repolist
输出结果，如下图所示
[root@hadoop1 ~]# systemctl stop firewalld [root@hadoop1 ~]# systemctl disable firewalld1.10.2 关闭hadoop2节点的防火墙
[root@hadoop2 ~]# systemctl stop firewalld [root@hadoop2 ~]# systemctl disable firewalld1.10.3 关闭hadoop3节点的防火墙
[root@hadoop3 ~]# systemctl stop firewalld [root@hadoop3 ~]# systemctl disable firewalld1.10.4 关闭hadoop4节点的防火墙
[root@hadoop4 ~]# systemctl stop firewalld [root@hadoop4 ~]# systemctl disable firewalld1.11 配置NTP时间同步服务 1.11.1 安装ntp服务
1）在hadoop1节点上安装ntp服务
[root@hadoop1 ~]# yum install -y ntp
输出结果，如下图所示
2）修改配置配置文件
[root@hadoop1 ~]# vi /etc/ntp.conf server 127.127.1.0 fudge 127.127.1.0 startum 10
3）启动ntp服务，并将其设置为开机自启动
[root@hadoop1 ~]# systemctl start ntpd [root@hadoop1 ~]# systemctl enable ntpd1.11.2 配置ntpdate时间同步
1、在hadoop2节点上配置ntpdate，用于同步master节点的时间。
1）检测ntpdate是否已经安装，若没有安装，则执行安装流程即可：yum install –y ntpdate，若不能安装，请参照“本地YUM源配置”章节进行操作后安装
[root@hadoop2 ~]# rpm -qa ntpdate
2）安装ntpdate服务
[root@hadoop2 ~]# yum install -y ntpdate
3）启动ntpdate服务
[root@hadoop2 ~]# systemctl start ntpdate
4）同步hadoop1节点的时间
[root@hadoop2 ~]# ntpdate hadoop1
2、在hadoop3节点上配置ntpdate，用于同步master节点的时间。
1）检测ntpdate是否已经安装，若没有安装，则执行安装流程即可：yum install –y ntpdate，若不能安装，请参照“本地YUM源配置”章节进行操作后安装
[root@hadoop3 ~]# rpm -qa ntpdate
2）安装ntpdate服务
[root@hadoop3 ~]# yum install -y ntpdate
3）启动ntpdate服务
[root@hadoop3 ~]# systemctl start ntpdate
4）同步hadoop1节点的时间
[root@hadoop3 ~]# ntpdate hadoop1
3、在hadoop3节点上配置ntpdate，用于同步master节点的时间。
1）检测ntpdate是否已经安装，若没有安装，则执行安装流程即可：yum install –y ntpdate，若不能安装，请参照“本地YUM源配置”章节进行操作后安装
[root@hadoop3 ~]# rpm -qa ntpdate
2）安装ntpdate服务
[root@hadoop3 ~]# yum install -y ntpdate
3）启动ntpdate服务
[root@hadoop3 ~]# systemctl start ntpdate
4）同步hadoop1节点的时间
[root@hadoop3 ~]# systemctl start ntpdate1.12 虚拟机快照及文件上传 1.12.1 虚拟机快照
安装完成的虚拟机，为了防止实验环境出现崩溃的情况，一定要记得及时拍快照，以便于我们恢复，拍快照的方法如下：依次单击“虚拟机”“快照”“拍摄快照”
在打开的“拍摄快照”对话框中，给快照写个名字，单击“拍摄快照”按钮
PS : 四台虚拟机都需要记得拍快照哦！
[root@hadoop1 ~]# ll
输出结果，如下图所示
[root@hadoop1 ~]# mkdir /opt/install [root@hadoop2 ~]# mkdir /opt/install [root@hadoop3 ~]# mkdir /opt/install [root@hadoop4 ~]# mkdir /opt/install1.13 安装基本的软件包 1.13.1 安装VIM文本编辑器
[root@hadoop4 ~]# yum install –y vim1.13.2 安装rz小工具
[root@hadoop1 java]# yum install -y lrzsz1.13.3 安装java环境jdk 1.13.3.1 安装jdk
1）将jdk的压缩包解压到指定的安装目录中
[root@hadoop1 ~]# tar -zxvf jdk-1.8-linux-x64.tar.gz -C /opt/install/
2）进入指定的安装目录，根据自己喜好，选择是否为jdk的解压目录进行重命名
[root@hadoop1 ~]# cd /opt/install/ [root@hadoop1 install]# mv jdk1.8.0_144/ java
3）进入jdk的安装目录，并显示当前的所在路径
[root@hadoop1 install]# cd java/ [root@hadoop1 java]# pwd /opt/install/java
4）修改环境变量
[root@hadoop1 java]# vim /etc/profile export JAVA_HOME=/opt/install/java export PATH=$PATH:$JAVA_HOME/bin
5）刷新环境变量
[root@hadoop1 java]# source /etc/profile
6）验证版本信息
[root@hadoop1 java]# java -version java version "1.8.0_144" Java(TM) SE Runtime Environment (build 1.8.0_144-b01) Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
