首先，对于大数据集群提前进行主机名、IP地址、主次服务的规划：
node01 ：192.168.38.90 NN DN
node02 ：192.168.38.91 DN
node03 ：192.168.38.92 DN SN
其中安装第一台机器时，建议在安装时就指定主机名，IP地址根据自己的局域网情况填写
每个人的子网可能不同（本人 192.168.38.0）
2、安装centos 7
创建虚拟机----->典型安装---->稍后安装系统----->linux (centos 7 64位)----->虚拟机名称（node01）+位置（hd01）—>自定义硬件（centos 7 镜像）---->完成---->install centos 7------>中文+最小安装+网络和主机名(192.168.38.90 255.255.255.0 192.168.38.2)–>重启
1、创建虚拟机 2、典型安装 3、linux (centos 7 64位) 4、虚拟机名称（node01）+位置（hd01） 5、分配 6、自定义硬件（centos 7 镜像） 7、自定义硬件完成 8、install centos 7 9、中文+最小安装+网络和主机名 3、连接centos7系统 1、通过MobaXterm或者Xshell 2、安装必要工具sudo yum install net-tools sudo yum install vim sudo vim /etc/vimrc ( 添加 set ts=4 ) 为了让tab后的空格不要太大3、创建soft目录
目的：放置jdk 、hadoop安装包
使用xftp将文件拉进soft目录
4、解压sudo rpm -ivh jdk-8u281-linux-x64.rpm javac -version java -version sudo tar -zxvf hadoop-2.7.1.tar.gz -C /opt/ cd /opt/ #改变hadoop的权限 sudo chown -R huser:huser /opt/hadoop-2.7.15、hadoop系统配置
sudo vim /etc/profile.d/hdfs.sh #添加这两行 export HADOOP_HOME=/opt/hadoop-2.7.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile #创建HDFS的NN和DN工作主目录 sudo mkdir /var/big_data sudo chown -R huser:huser /var/big_data6、系统准备：
6.1、关闭防火墙
sudo systemctl stop firewalld.service sudo systemctl disable firewalld.service
6.2、关闭selinux
```shell sudo vim /etc/selinux/config 修改为 SELINUX=disabled ```4、hdfs配置文件修改
#本内容主要针对Hadoop的配置文件进行修改，修改原则和最开始的服务搭建要一致
#进入/opt/hadoop-2.7.1/etc/hadoop目录
#4.1、为Hadoop提供JAVA解释器路径信息，主要目的是解决远程访问hadoop时候JAVA_HOME无法继承的问题
vim hadoop-env.sh
export JAVA_HOME=/usr/java/default
#4.2、为Yarn任务、资源管理器提供Java运行环境
vim yarn-env.sh
export JAVA_HOME=/usr/java/default
#4.3、配置HDFS主节点信息、持久化和数据文件的主目录
vim core-site.xml
fs.defaultFS
hdfs://node01:9000
hadoop.tmp.dir
/var/big_data
#4.4、配置HDFS默认的数据存放策略
vim hdfs-site.xml
dfs.replication
2
dfs.namenode.secondary.http-address
node03:50090
#4.5、配置mapreduce任务调度策略
vim mapred-site.xml
mapreduce.framework.name
yarn
#4.6、配置Yarn资源管理角色的信息
vim yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.hostname
node01
#4.7、配置datanode节点信息
vim slaves
node01
node02
node03
#4.8、提前准备主机名解析文件，为后面的克隆机器做好准备（可选，若不做，克隆后为每台机器重新添加亦可）
sudo vim /etc/hosts
#删掉原本的两行 dd dd
192.168.38.90 node01
192.168.38.91 node02
192.168.38.92 node03
#4.9、重启
sudo reboot
5、克隆
1、先把虚拟机node01关闭
2、克隆
3、克隆后修改node02、node03的IP和主机名
sudo vim /etc/sysconfig/networ-scripts/ifcfg-ens33 #将IPADDR的值改为约定的好的地址（192.168.38.91 / 192.168.38.92） sudo vim /etc/hostname #将node01改为node02 / node024、用MobaXterm连接三台虚拟机
这里为了节省时间可以进行三台同时操作功能，因为有很多相同的命令
# 在3台机器上执行产生自己的公钥： ssh-keygen -t rsa # 将每台机器的公钥拷贝给每台机器，注意下面的指令要求3台机器都要执行： ssh-copy-id node01 ssh-copy-id node02 ssh-copy-id node03 # 验证 ssh node02 (看是否要输入密码) # 格式化hdfs hdfs namenode -format5、启动
start-dfs.sh jps start-yarn.sh
192.168.38.90:50070
参考：- 一小时掌握Hadoop集群搭建_哔哩哔哩_bilibili
hdfs namenode -format
[外链图片转存中...(img-8OPOk9wK-1637666590079)] ### 5、启动 ```shell start-dfs.sh jps start-yarn.sh
192.168.38.90:50070
参考：- 一小时掌握Hadoop集群搭建_哔哩哔哩_bilibili
- hadoop官网
