一、安装模板机 1、安装CentOS 7.9并配置网络本文所使用的环境及版本：
- CentOS Linux release 7.9.2009 (Core)
- jdk1.8.0_291
- hadoop-3.2.2
注意：在安装虚拟机时建议分配50G以上的磁盘容量，避免后期磁盘不够用需手动扩容的麻烦
关于CentOS 7.X 的安装参照这篇文章：VMware安装CentOS 7.8详细图文教程（含网络配置）
2、安装 epel-release注：Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软件包，适用于 RHEL、CentOS 和 Scientific Linux。（相当于是一个软件仓库，大多数 rpm 包在官方 repository 中是找不到的）
[root@hadoop100 ~]# yum install -y epel-release3、由于本教程安装的是最小系统，所以还需要安装一些工具包 3.1、net-tool：工具包集合，包含 ifconfig 等命令
[root@hadoop100 ~]# yum install -y net-tools3.2、vim：编辑器
[root@hadoop100 ~]# yum install -y vim
[root@hadoop100 ~]# systemctl stop firewalld [root@hadoop100 ~]# systemctl disable firewalld.service5、创建一个普通用户
注意： 若在安装时已经创建过普通用户，可以直接使用之前创建过的普通用户，也可以根据此步骤再创建一个普通用户，用户名为sumu，密码为123456（用户名和密码自定义）
[root@hadoop100 ~]# useradd sumu [root@hadoop100 ~]# passwd 1234566、配置 sumu 用户具有 root 权限，方便后期加 sudo 执行执行 root 权限的命令
[root@hadoop100 ~]# vim /etc/sudoers
注意：
- 在 %wheel ALL=(ALL) ALL 这一行的下面添加 sumu ALL=(ALL) NOPASSWD:ALL（此处的sumu为要赋予权限的用户）
- sumu 这一行不要直接放到 root 行下面，因为所有用户都属于 wheel 组，你先配置了 sumu 具有免密功能，但是程序执行到%wheel 行时，该功能又被覆盖回需要密码。所以 sumu 要放到%wheel 这行下面。
1）在/opt 目录下创建 module 和 software 文件夹（software 用于存放软件安装包，而 module 用于存放解压后的文件包）
[root@hadoop100 ~]# mkdir /opt/module [root@hadoop100 ~]# mkdir /opt/software
2）修改 module、software 文件夹的所属主和所属组均为 sumu 用户
[root@hadoop100 ~]# chown sumu:sumu /opt/module [root@hadoop100 ~]# chown sumu:sumu /opt/software
3）查看 module、software 文件夹的所有者和所属组
[root@hadoop100 opt]# yum install -y rsync
- 启动 rsync 并设置开机自启
[root@hadoop100 opt]# systemctl start rsyncd.service [root@hadoop100 opt]# systemctl enable rsyncd.service
- 检查是否启动成功
[root@hadoop100 opt]# netstat -lnp|grep 873
- 修改rsyncd.conf配置文件，保存退出
[root@hadoop100 opt]# vim /etc/rsyncd.conf
# 运行RSYNC守护进程的用户 uid = root # 运行RSYNC守护进程的组 gid = root #不使用chroot use chroot = no # 最大连接数为4 max connections = 4 # CentOS7中yum安装不需指定pid file 否则报错 # pid file = /var/run/rsyncd.pid # 指定锁文件 lock file=/var/run/rsyncd.lock # 指定日志文件 log file = /var/log/rsyncd.log exclude = lost+found/ transfer logging = yes # 超时时间 timeout = 900 # 同步时跳过没有权限的目录 ignore nonreadable = yes # 传输时不压缩的文件 dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
- 重启rsync
[root@hadoop100 opt]# systemctl restart rsyncd.service9、卸载CentOS自带的JDK
[root@hadoop100 opt]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
注意：本教程使用的是最小系统默认没有JDK，所以不用执行此命令
10、重启虚拟机[root@hadoop100 ~]# reboot二、克隆虚拟机
利用上面的模板机，克隆三台虚拟机：node101、node102、node103。（注意：克隆时需要先关闭模板机）
1、克隆步骤如下： 1.1、先关闭模板机，然后鼠标右键点击 模板机，接着点击管理，再点击克隆 1.2、选择 虚拟机中的当前状态，然后点击下一步 1.3、选择 创建完整克隆，然后点击下一步 1.4、输入虚拟机名称和选择虚拟机存储的位置，然后点击完成，等待克隆完成点击关闭即可 2、主机名和IP分配（根据自己的需求分配）| 主机名 | node101 | node102 | node103 |
|---|---|---|---|
| IP地址 | 192.168.198.101 | 192.168.198.102 | 192.168.198.103 |
[root@node101 ~]# uuidgen3.2、修改
[root@node101 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens333.3、修改主机名
[root@node101 ~]# vi /etc/hostname3.4、修改主机名称映射文件（hosts）
[root@node101 ~]# vi /etc/hosts3.5、重启虚拟机
[root@node101 ~]# reboot三、安装JDK与Hadoop 1、使用FTP工具上传jdk和hadoop文件包上传至虚拟机中 2、查看 /opt/software目录下否是有刚上传的文件 3、将JDK解压至 /opt/module/ 目录下
[sumu@node101 software]$ tar -zxvf jdk-8u291-linux-x64.tar.gz -C /opt/module/4、进入解压后的目录
# 进/opt/module/目录 [sumu@node101 software]$ cd /opt/module/ # 查看jdk是否解压成功 [sumu@node101 module]$ ls # 进jdk解压后的目录 [sumu@node101 module]$ cd jdk1.8.0_291/ # 查看当前路径（将当前路径复制下来配置到Java的环境变量中，避免手动输入有误） [sumu@node101 jdk1.8.0_291]$ pwd5、配置JDK的环境变量 5.1、通过查看profile文件，可以看到系统会将/etc/profile.d/目录下的所有.sh后缀的文件遍历加载到环境变量中 5.2、所以可以在 /etc/profile.d/ 目录下自己创建一个 dev_env.sh 文件，并加入以下内容
[sumu@node101 ~]$ sudo vim /etc/profile.d/dev_env.sh5.3、加入以下内容，JAVA_HOME后面为jdk的安装目录
# JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_291 export PATH=$PATH:$JAVA_HOME/bin5.4、保存退出后，刷新一下/etc/profile文件，使新的环境变量PATH生效
[sumu@node101 ~]$ source /etc/profile5.5、检查JDK是否安装成功，能看到相关版本信息即安装成功
[sumu@node101 ~]$ java -version5.6、如果刷新profile文件后仍无法查看java版本信息，可以重启虚拟机后再试，若还是没成功请检查环境变量中jdk的安装目录是否正确 6、安装Hadoop 6.1、解Hadoop解压至/opt/module/目录下
[sumu@node101 software]$ tar -zxvf hadoop-3.2.2.tar.gz -C /opt/module/6.2、进解压后的目录，获取路径
# 进/opt/module/目录 [sumu@node101 software]$ cd /opt/module/ # 查看hadoop是否解压成功 [sumu@node101 module]$ ls # 进hadoop解压后的目录 [sumu@node101 module]$ cd hadoop-3.2.2/ # 查看当前路径（将当前路径复制下来配置到Hadoop的环境变量中，避免手动输入有误） [sumu@node101 hadoop-3.2.2]$ pwd6.3、配置环境变量
[sumu@node101 hadoop-3.2.2]$ sudo vim /etc/profile.d/dev_env.sh6.4、在文件中添加以下内容，并存并退出
# HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop-3.2.2 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin6.5、刷新一下/etc/profile文件，使新的环境变量PATH生效
[sumu@node101 hadoop-3.2.2]$ source /etc/profile6.6、检测Hadoop是否安装成功
[sumu@node101 hadoop-3.2.2]$ hadoop version
注意： 如果刷新profile文件后仍无法使用hadoop命令，可以重启虚拟机后再试，若还是没成功请检查环境变量中hadoop的安装目录是否正确
1.1.1、基础语法scp 可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）
scp -r $pdir/$fname $user@$host:$pdir/$fname 命令 递归 需拷贝的文件路径/名称 目标用户@主机:目标路径/名称1.1.2、常用操作
- 在A节点中，将A节点的文件拷贝至B节点
# 在node101中，将node101中的 /opt/module/jdk1.8.0_291 目录拷贝至node102中 [sumu@node102 ~]$ scp -r /opt/module/jdk1.8.0_291 sumu@node102:/opt/module/
- 在B节点中，将A节点的文件拷贝至B节点中
# 在node102中，将node101中的 /opt/module/hadoop-3.2.2 目录拷贝至node102中 [sumu@node102 ~]$ scp -r sumu@node101:/opt/module/hadoop-3.2.2 /opt/module/
- 在B节点中，将A节点的文件拷贝至C节点中
# 在node102中，将node101中的 /opt/module 目录下的所有文件及目录拷贝至node103中 [sumu@node102 ~]$ scp -r sumu@node101:/opt/module/* sumu@node103:/opt/module1.2、rsync远程同步工具
1.2.1、基本语法rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync与scp的区别：rsync只针对有差异的文件做更新，而scp则将所有文件做更新。
rsync -av $pdir/$fname $user@$host:$pdir/$fname 命令 选项参数 需拷贝的文件路径/名称 目标用户@主机:目标路径/名称1.2.2、选项参数说明：
| 选项 | 功能 |
|---|---|
| -a | 归档拷贝 |
| -v | 显示复制过程 |
| -l | 拷贝符号链接 |
# 查看全局环境变量路劲 [sumu@node101 ~]$ echo $PATH
可以看到当前用户（sumu）下的bin目录属于全局环境变量路径
[sumu@node101 ~]$ mkdir bin2.3、在/home/sumu/bin目录下创建xsync脚本，并加入如下内容
[sumu@node101 bin]$ vim xsync
注意修改主机名
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi
#2. 遍历集群所有机器
for host in node101 node102 node103
do
echo ==================== $host ====================
#3. 遍历所有目录，逐个发送
for file in $@
do
#4. 判断文件是否存在
if [ -e $file ]
then
#5. 获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#6. 获取当前文件的名称
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$fname $host:$pdir
else
echo $file does not exists!
fi
done
done
2.4、赋予xsync脚本可执行权限
[sumu@node101 bin]$ chmod +x xsync2.5、测试xsync脚本（同步bin目录至其他节点）
[sumu@node101 ~]$ xsync bin/
- 到node2和node3中查看是否同步成功
[sumu@node101 ~]$ sudo ./bin/xsync /etc/profile.d/dev_env.sh3、配置免密登录 3.1、生成公钥与私钥
[sumu@node101 ~]$ ssh-keygen -t rsa3.2、将公钥拷贝至本机以及其他节点中
[sumu@node101 ~]$ ssh-copy-id node101 [sumu@node101 ~]$ ssh-copy-id node102 [sumu@node101 ~]$ ssh-copy-id node1033.3、分别在node2和node3两台服务器上重复3.1和3.2的操作，使所有服务器之间可以免密登录 3.4、验证免密登录
[sumu@node101 ~]$ ssh node101 [sumu@node101 ~]$ ssh node102 [sumu@node101 ~]$ ssh node1034、集群配置 4.1、集群部署规划
| node1 | node2 | node3 | |
|---|---|---|---|
| HDFS | NameNode DataNode | DataNode | SecondaryNameNode DataNode |
| YARN | NodeManager | ResourceManager NodeManager | NodeManager |
注意：NameNode、SecondaryNameNode和ResourceManager很耗内存资源，建议不要配置在同一节点上
4.2、修改核心配置文件[sumu@node101 ~]$ cd /opt/module/hadoop-3.2.2/etc/hadoop/ [sumu@node101 hadoop]$ vim core-site.xml
在
4.3、修改HDFS配置文件fs.defaultFS hdfs://node101:8020 hadoop.tmp.dir /opt/module/hadoop-3.2.2/data hadoop.http.staticuser.user sumu
[sumu@node101 hadoop]$ vim hdfs-site.xml
在
4.4、修改YARN配置文件dfs.namenode.http-address node101:9870 dfs.namenode.secondary.http-address node103:9868
[sumu@node101 hadoop]$ vim yarn-site.xml
在
4.5、修改MapReduce配置文件yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname node102 yarn.nodemanager.env-whitelist JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME yarn.log-aggregation-enable true yarn.log.server.url http://hadoop102:19888/jobhistory/logs yarn.log-aggregation.retain-seconds 604800
[sumu@node101 hadoop]$ vim mapred-site.xml
在
4.6、修改workers配置文件mapreduce.framework.name yarn mapreduce.jobhistory.address node101:10020 mapreduce.jobhistory.webapp.address node101:19888
[sumu@node101 hadoop]$ vim workers
注意： 文件中添加的内容结尾不能有空格，文件中也不能有空行。
[sumu@node101 ~]$ xsync /opt/module/hadoop-3.2.2/etc/hadoop/5、启动集群 5.1、如果集群是第一次启动，在要在node101节点格式化NameNode
[sumu@node101 ~]$ cd /opt/module/hadoop-3.2.2/ [sumu@node101 hadoop-3.2.2]$ hdfs namenode -format
格式化过程中没有报错，并且成功创建了如下图data和logs则格式化成功
注意：
- 格式化NameNode会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到以往的数据；
- 如果集群在运行过程中报错，需要重新格式化NameNode的话，需要先停止NameNode和DataNode进程，并且需要删除所有节点的data和logs目录，然后再进行格式化；
[sumu@node101 hadoop-3.2.2]$ sbin/start-dfs.sh
查看每个节点启动的进程是否与集群部署规划方案一致
Web端查看HDFS的NameNode
- 浏览器访问：http://node101:9870
- 查看HDFS上存储的数据信息
[sumu@node102 hadoop-3.2.2]$ sbin/start-yarn.sh
查看每个节点启动的进程是否与集群部署规划方案一致
Web端查看YARN的ResourceManager
- 浏览器访问：http://node102:9870
- 查看YARN上运行的Job信息
- 小文件上传测试
# 在HDFS根目录下创建wcinput目录 [sumu@node101 ~]$ hadoop fs -mkdir /wcinput # 创建一个word.txt文件，并写入如下内容 [sumu@node101 ~]$ vim /opt/module/hadoop-3.2.2/wcinput/word.txt
hello hadoop hive hbase spark flink hello hadoop hive hbase spark hello hadoop hive hbase hello hadoop hive hello hadoop hello
# 将word.txt上传至HDFS的/wcinput目录中 [sumu@node101 ~]$ hadoop fs -put /opt/module/hadoop-3.2.2/wcinput/word.txt /wcinput
- 大文件上传测试
[sumu@node101 ~]$ hadoop fs -put /opt/software/jdk-8u291-linux-x64.tar.gz /
由于HDFS默认的存储块大小为128M，而上传的Hadoop安装包有377M，所以分为3存储块存储
HDFS文件在磁盘中的存储情况
[sumu@node101 ~]$ cd /opt/module/hadoop-3.2.2/data/dfs/data/current/BP-1865809970-192.168.198.101-1629498028805/current/finalized/subdir0/subdir0/ [sumu@node101 subdir0]$ ll6.2、文件下载
[sumu@node101 ~]$ hadoop fs -get /hadoop-3.2.2.tar.gz ./6.3、执行wordcount程序
[sumu@node101 hadoop-3.2.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar wordcount /wcinput /wcoutput
到YARN的Web端可以查看到执行的wordcount应用
执行完后可以查看到wordcount统计的结果
- 启动历史服务器
[sumu@node101 hadoop-3.2.2]$ mapred --daemon start historyserver
在YARN的Web端点击执行任务的History，即可查看任务执行的历史信息
查看历史日志
# 在/home/sumu/bin目录下创建myhadoop.sh脚本，并加入如下脚本内容 [sumu@node101 bin]$ vim myhadoop.sh
#!/bin/bash
if [ $# -lt 1 ]
then
echo "No Args Input..."
exit ;
fi
case $1 in
"start")
echo " =================== 启动 hadoop 集群 ==================="
echo " --------------- 启动 hdfs ---------------"
ssh node101 "/opt/module/hadoop-3.2.2/sbin/start-dfs.sh"
echo " --------------- 启动 yarn ---------------"
ssh node102 "/opt/module/hadoop-3.2.2/sbin/start-yarn.sh"
echo " --------------- 启动 historyserver ---------------"
ssh node101 "/opt/module/hadoop-3.2.2/bin/mapred --daemon start historyserver"
;;
"stop")
echo " =================== 关闭 hadoop 集群 ==================="
echo " --------------- 关闭 historyserver ---------------"
ssh node101 "/opt/module/hadoop-3.2.2/bin/mapred --daemon stop historyserver"
echo " --------------- 关闭 yarn ---------------"
ssh node102 "/opt/module/hadoop-3.2.2/sbin/stop-yarn.sh"
echo " --------------- 关闭 hdfs ---------------"
ssh node101 "/opt/module/hadoop-3.2.2/sbin/stop-dfs.sh"
;;
*)
echo "Input Args Error..."
;;
esac
赋予myhadoop.sh脚本可执行权限
[sumu@node101 bin]$ chmod +x myhadoop.sh7.2、编写查看集群Java进程脚本
[sumu@node101 bin]$ vim jpsall
#!/bin/bash
for host in node101 node102 node103
do
echo =============== $host ===============
ssh $host jps
done
赋予jpsall脚本可执行权限
[sumu@node101 bin]$ chmod +x jpsall7.3、测试脚本 7.3.1、停止集群
[sumu@node101 bin]$ myhadoop.sh stop
# 查看进程号 [sumu@node101 bin]$ jpsall7.3.2、启动集群
[sumu@node101 bin]$ myhadoop.sh start
# 查看进程号 [sumu@node101 bin]$ jpsall
Hadoop完全分布式集群搭建教程结束啦！
