前言1：

前言2：

一，基础环境

1，三台Centos7.5，一台master，两台slave1和slave2

2，IP配置

3，改主机名

4，配三台主机映射

5，三台主机时钟同步

6，三个节点关防火墙，并开机禁用

7，三台主机互相免密登录

二，Hadoop大数据集群部署

步骤一

步骤二

步骤三

步骤四

步骤五

步骤六

步骤七

三，Hadoop大数据分布式集群的配置

步骤一

步骤二

步骤三

步骤四

步骤五

步骤六

步骤七

步骤八

四，主从节点文件的分发

步骤一

步骤二

步骤三

五，Hadoop集群的启动

1，元数据的格式化

2，组件的启动

3，使用网页形式查看

后言

———————————————————————————————————————————

前言1：
推荐用MobaXterm_20.0这个软件去远程连接你的虚拟机，个人感觉这个是挺好用的，特别是它的那个交互同步执行（以下简称多执行），简直好用到爆，做好的事都很方便，熟练使用可节省不少时间，可以点击下面下载汉化版的，谁用谁知道，简直不要太香。

我试了试给大家在这里粘贴链接会推荐受影响使用大家可以去我发布的资源里下载MobaXterm_20.0汉化：

前言2：
下面的命令，如果不知道在哪个节点敲的，统一声明一下代码前没有标注的都事master节点，slave1和slave2节点的我都在代码前标注了，另外，以下每段代码，我都附上了成功后的截图，以供大家搭建参考。

一，基础环境

1，三台Centos7.5，一台master，两台slave1和slave2

2，IP配置

ip a

ip a

ip a

3，改主机名

hostnamectl set-hostname master && bash

hostnamectl set-hostname slave1 && bash

hostnamectl set-hostname slave2 && bash

4，配三台主机映射

注：这里就可以用这个远程软件提供的多执行窗口，简单快捷，谁用谁知道，太香了。

vi /etc/hosts

192.168.100.80 master
192.168.100.90 slave1
192.168.100.100 slave2

5，三台主机时钟同步

注：如果你是克隆的话这一步就可以不做，就像我的这个一样直接略过，也可以按如下配置。

可以用远程软件的交互执行同时操作以完成

三个节点同时敲（用多执行窗口）

yum install ntpdate -y
ntpdate ntp1.aliyun.com
date

6，三个节点关防火墙，并开机禁用

用多执行窗口

systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld

7，三台主机互相免密登录

注：这里需要三个节点先去创建一个hadoop的用户，并设置密码，然后使用hadoop用户去做免密，因为后边好多操作都是以hadoop用户的身份实现的。

用多执行窗口

useradd hadoop
passwd hadoop
000000
000000
su hadoop
ssh-keygen(一路回车)
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2
ssh slave1
exit

自此基础环境配置完毕。就问你这个功能香不香！！！

二，Hadoop大数据集群部署

步骤一

在master中，创建两个目录，一个/opt/software/存放软件，一个/usr/local/src/安装软件

mkdir /opt/software
mkdir /usr/local/src/

步骤二

将jdk和hadoop的压缩包上传到/opt/software目录下，可以从我发布的资源里下载到两个压缩包，这里就不贴链接了，直接上传即可。

步骤三

上传完成后，解压到/usr/local/src/hadoop和/usr/local/src/jdk下，并通过mv命令改名，使其简单明了

tar -zxvf /opt/software/hadoop-2.7.1.tar.gz -C /usr/local/src/
mv /usr/local/src/hadoop-2.7.1 /usr/local/src/hadoop
tar -zxvf  /opt/software/jdk-8u152-linux-x64.tar.gz -C /usr/local/src
mv /usr/local/src/jdk1.8.0_152/ /usr/local/src/jdk

步骤四

并修改所属用户和组确保可为hadoop用户所用

chown -R hadoop:hadoop /usr/local/src/hadoop
chown -R hadoop:hadoop /usr/local/src/jdk

步骤五

配置环境变量使jdk和hadoop生效

vi /etc/profile

export JAVA_HOME=/usr/local/src/jdk export JRE HOME=/usr/local/src/jdk/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/Lib:$JRE_HOME/Lib export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export HADOOP_HOME=/usr/local/src/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

步骤六

使环境变量生效

source /etc/profile

步骤七

检测jdk和hadoop是否安装成功

java -version
hadoop version

三，Hadoop大数据分布式集群的配置

注：上面我们在master节点装好了jdk和hadoop，可是我们的另外两个从节点也需要jdk和hadoop，所以我们要分发到两个从节点，在此之前需要先做如下配置。

步骤一

修改文件

cd /usr/local/src/hadoop/etc/hadoop

vi core-site.xml


        
               fs.defaultFS
               hdfs://master:9000
        
        
               hadoop.tmp.dir
               file:/usr/local/src/hadoop/tmp

步骤二

修改文件

vi hadoop-env.sh

export JAVA_HOME=/usr/local/src/java
export HADOOP_PERFIX=/usr/local/src/hadoop
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PERFIX/lib:$HADOOP_PERFIX/lib/natice"

步骤三

修改文件

 vi hdfs-site.xml


        
               dfs.namenode.name.dir
               file:/usr/local/src/hadoop/dfs/name
        
        
               dfs.datanode.data.dir
               file:/usr/local/src/hadoop/dfs/data
        
        
               dfs.replication   
               3

步骤四

修改文件

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml


        
               mapreduce.framework.name
               yarn
        
        
               mapreduce.jobhistory.address
               master:10020
        
        
               mapreduce.jobhistory.webapp.address
               master:19888

步骤五

修改文件

vi yarn-site.xml


        
               yarn.resourcemanager.address
               master:8032
        
        
               yarn.resourcemanager.scheduler.address
               master:8030
        
        
               yarn.resourcemanager.resource-tracker.address
               master:8031
        
        
               yarn.resourcemanager.admin.address
               master:8033
        
        
               yarn.resourcemanager.webapp.address
               master:8088
        
        
               yarn.nodemanager.aux-services
               mapreduce_shuffle
        
        
               yarn.nodemanager.aux-services.mapreduce.shuffle.class
               org.apache.hadoop.mapred.ShuffleHandler

步骤六

修改文件

vi masters

master

步骤七

修改文件

vi slaves

slave1
slave2

步骤八

创建目录

mkdir -p /usr/local/src/hadoop/dfs/name
mkdir -p /usr/local/src/hadoop/dfs/data
mkdir -p /usr/local/src/hadoop/tmp

自此，分布式集群的配置完成

四，主从节点文件的分发步骤一

分发hadoop目录，改所属用户和组

scp -r /usr/local/src/ root@slave1:/usr/local/src/
scp -r /usr/local/src/ root@slave2:/usr/local/src/

slave1和slave2

chown -R hadoop:hadoop /usr/local/src

步骤二

分发环境变量，并生效

scp -r /etc/profile root@slave1:/etc/
scp -r /etc/profile root@slave2:/etc/

slave1和slave2 节点

 source /etc/profile

步骤三

多窗口执行，检测每个节点是否成功

java -version
hadoop version

每个节点都一样，才是成功。

五，Hadoop集群的启动

1，元数据的格式化

多执行窗口

su hadoop
source /etc/profile

master节点

hdfs namenode -format

2，组件的启动

master节点

start-all.sh

多窗口执行

jps

3，使用网页形式查看

192.168.100.80:50070

192.168.100.80:8088

192.168.100.80:9000

后言
自此，一个Hadoop分布式大数据平台搭建完成，感谢观看，欢迎点赞，评论，提问，转发，不足之处，还请多多指教。

基于hadoop平台的搭建和应用(大数据开发hadoop)

前言2：
下面的命令，如果不知道在哪个节点敲的，统一声明一下代码前没有标注的都事master节点，slave1和slave2节点的我都在代码前标注了，另外，以下每段代码，我都附上了成功后的截图，以供大家搭建参考。

一，基础环境

1，三台Centos7.5，一台master，两台slave1和slave2

2，IP配置
ip a

ip a

ip a

3，改主机名
hostnamectl set-hostname master && bash

hostnamectl set-hostname slave1 && bash

hostnamectl set-hostname slave2 && bash

4，配三台主机映射
注：这里就可以用这个远程软件提供的多执行窗口，简单快捷，谁用谁知道，太香了。

vi /etc/hosts

192.168.100.80 master 192.168.100.90 slave1 192.168.100.100 slave2

6，三个节点关防火墙，并开机禁用
用多执行窗口

systemctl stop firewalld systemctl disable firewalld systemctl status firewalld

二，Hadoop大数据集群部署

步骤一
在master中，创建两个目录，一个/opt/software/存放软件，一个/usr/local/src/安装软件

mkdir /opt/software mkdir /usr/local/src/

步骤四
并修改所属用户和组确保可为hadoop用户所用

chown -R hadoop:hadoop /usr/local/src/hadoop chown -R hadoop:hadoop /usr/local/src/jdk

步骤六
使环境变量生效

source /etc/profile

步骤七
检测jdk和hadoop是否安装成功

java -version hadoop version

步骤二
修改文件

vi hadoop-env.sh

export JAVA_HOME=/usr/local/src/java export HADOOP_PERFIX=/usr/local/src/hadoop export HADOOP_OPTS="-Djava.library.path=$HADOOP_PERFIX/lib:$HADOOP_PERFIX/lib/natice"

步骤三
修改文件

vi hdfs-site.xml

dfs.namenode.name.dir file:/usr/local/src/hadoop/dfs/name dfs.datanode.data.dir file:/usr/local/src/hadoop/dfs/data dfs.replication 3

步骤四
修改文件

cp mapred-site.xml.template mapred-site.xml vi mapred-site.xml

mapreduce.framework.name yarn mapreduce.jobhistory.address master:10020 mapreduce.jobhistory.webapp.address master:19888

步骤六
修改文件

vi masters

master

步骤七
修改文件

vi slaves

slave1 slave2

步骤八
创建目录

mkdir -p /usr/local/src/hadoop/dfs/name mkdir -p /usr/local/src/hadoop/dfs/data mkdir -p /usr/local/src/hadoop/tmp

自此，分布式集群的配置完成

四，主从节点文件的分发步骤一
分发hadoop目录，改所属用户和组

scp -r /usr/local/src/ root@slave1:/usr/local/src/ scp -r /usr/local/src/ root@slave2:/usr/local/src/

slave1和slave2

chown -R hadoop:hadoop /usr/local/src

步骤二
分发环境变量，并生效

scp -r /etc/profile root@slave1:/etc/ scp -r /etc/profile root@slave2:/etc/

slave1和slave2 节点

source /etc/profile
步骤三
多窗口执行，检测每个节点是否成功

java -version hadoop version

每个节点都一样，才是成功。

五，Hadoop集群的启动

1，元数据的格式化
多执行窗口

su hadoop source /etc/profile

master节点

hdfs namenode -format

2，组件的启动
master节点

start-all.sh

多窗口执行

jps

3，使用网页形式查看
192.168.100.80:50070

192.168.100.80:8088

192.168.100.80:9000

后言
自此，一个Hadoop分布式大数据平台搭建完成，感谢观看，欢迎点赞，评论，提问，转发，不足之处，还请多多指教。

大数据系统相关栏目本月热门文章

基于hadoop平台的搭建和应用(大数据开发hadoop)

前言2： 下面的命令，如果不知道在哪个节点敲的，统一声明一下代码前没有标注的都事master节点，slave1和slave2节点的我都在代码前标注了，另外，以下每段代码，我都附上了成功后的截图，以供大家搭建参考。

一，基础环境

1，三台Centos7.5，一台master，两台slave1和slave2

2，IP配置 ip a ip a ip a

3，改主机名 hostnamectl set-hostname master && bash hostnamectl set-hostname slave1 && bash hostnamectl set-hostname slave2 && bash

4，配三台主机映射 注：这里就可以用这个远程软件提供的多执行窗口，简单快捷，谁用谁知道，太香了。 vi /etc/hosts 192.168.100.80 master 192.168.100.90 slave1 192.168.100.100 slave2

6，三个节点关防火墙，并开机禁用 用多执行窗口 systemctl stop firewalld systemctl disable firewalld systemctl status firewalld

二，Hadoop大数据集群部署

步骤一 在master中，创建两个目录，一个/opt/software/存放软件，一个/usr/local/src/安装软件 mkdir /opt/software mkdir /usr/local/src/

步骤四 并修改所属用户和组确保可为hadoop用户所用 chown -R hadoop:hadoop /usr/local/src/hadoop chown -R hadoop:hadoop /usr/local/src/jdk

步骤六 使环境变量生效 source /etc/profile

步骤七 检测jdk和hadoop是否安装成功 java -version hadoop version

步骤二 修改文件 vi hadoop-env.sh export JAVA_HOME=/usr/local/src/java export HADOOP_PERFIX=/usr/local/src/hadoop export HADOOP_OPTS="-Djava.library.path=$HADOOP_PERFIX/lib:$HADOOP_PERFIX/lib/natice"

步骤三 修改文件 vi hdfs-site.xml dfs.namenode.name.dir file:/usr/local/src/hadoop/dfs/name dfs.datanode.data.dir file:/usr/local/src/hadoop/dfs/data dfs.replication 3

步骤四 修改文件 cp mapred-site.xml.template mapred-site.xml vi mapred-site.xml mapreduce.framework.name yarn mapreduce.jobhistory.address master:10020 mapreduce.jobhistory.webapp.address master:19888

步骤六 修改文件 vi masters master

步骤七 修改文件 vi slaves slave1 slave2

步骤八 创建目录 mkdir -p /usr/local/src/hadoop/dfs/name mkdir -p /usr/local/src/hadoop/dfs/data mkdir -p /usr/local/src/hadoop/tmp 自此，分布式集群的配置完成

四，主从节点文件的分发 步骤一 分发hadoop目录，改所属用户和组 scp -r /usr/local/src/ root@slave1:/usr/local/src/ scp -r /usr/local/src/ root@slave2:/usr/local/src/ slave1和slave2 chown -R hadoop:hadoop /usr/local/src

步骤二 分发环境变量，并生效 scp -r /etc/profile root@slave1:/etc/ scp -r /etc/profile root@slave2:/etc/ slave1和slave2 节点 source /etc/profile 步骤三 多窗口执行，检测每个节点是否成功 java -version hadoop version 每个节点都一样，才是成功。

五，Hadoop集群的启动

1，元数据的格式化 多执行窗口 su hadoop source /etc/profile master节点 hdfs namenode -format

2，组件的启动 master节点 start-all.sh 多窗口执行 jps

3，使用网页形式查看 192.168.100.80:50070 192.168.100.80:8088 192.168.100.80:9000

后言 自此，一个Hadoop分布式大数据平台搭建完成，感谢观看，欢迎点赞，评论，提问，转发，不足之处，还请多多指教。

大数据系统相关栏目本月热门文章

前言2：
下面的命令，如果不知道在哪个节点敲的，统一声明一下代码前没有标注的都事master节点，slave1和slave2节点的我都在代码前标注了，另外，以下每段代码，我都附上了成功后的截图，以供大家搭建参考。

2，IP配置
ip a

ip a

ip a

3，改主机名
hostnamectl set-hostname master && bash

hostnamectl set-hostname slave1 && bash

hostnamectl set-hostname slave2 && bash

4，配三台主机映射
注：这里就可以用这个远程软件提供的多执行窗口，简单快捷，谁用谁知道，太香了。

vi /etc/hosts

192.168.100.80 master 192.168.100.90 slave1 192.168.100.100 slave2

6，三个节点关防火墙，并开机禁用
用多执行窗口

systemctl stop firewalld systemctl disable firewalld systemctl status firewalld

步骤一
在master中，创建两个目录，一个/opt/software/存放软件，一个/usr/local/src/安装软件

mkdir /opt/software mkdir /usr/local/src/

步骤四
并修改所属用户和组确保可为hadoop用户所用

chown -R hadoop:hadoop /usr/local/src/hadoop chown -R hadoop:hadoop /usr/local/src/jdk

步骤六
使环境变量生效

source /etc/profile

步骤七
检测jdk和hadoop是否安装成功

java -version hadoop version

步骤二
修改文件

vi hadoop-env.sh

export JAVA_HOME=/usr/local/src/java export HADOOP_PERFIX=/usr/local/src/hadoop export HADOOP_OPTS="-Djava.library.path=$HADOOP_PERFIX/lib:$HADOOP_PERFIX/lib/natice"

步骤三
修改文件

vi hdfs-site.xml

dfs.namenode.name.dir file:/usr/local/src/hadoop/dfs/name dfs.datanode.data.dir file:/usr/local/src/hadoop/dfs/data dfs.replication 3

步骤四
修改文件

cp mapred-site.xml.template mapred-site.xml vi mapred-site.xml

mapreduce.framework.name yarn mapreduce.jobhistory.address master:10020 mapreduce.jobhistory.webapp.address master:19888

步骤六
修改文件

vi masters

master

步骤七
修改文件

vi slaves

slave1 slave2

步骤八
创建目录

mkdir -p /usr/local/src/hadoop/dfs/name mkdir -p /usr/local/src/hadoop/dfs/data mkdir -p /usr/local/src/hadoop/tmp

自此，分布式集群的配置完成

四，主从节点文件的分发步骤一
分发hadoop目录，改所属用户和组

scp -r /usr/local/src/ root@slave1:/usr/local/src/ scp -r /usr/local/src/ root@slave2:/usr/local/src/

slave1和slave2

chown -R hadoop:hadoop /usr/local/src

步骤二
分发环境变量，并生效

scp -r /etc/profile root@slave1:/etc/ scp -r /etc/profile root@slave2:/etc/

slave1和slave2 节点

source /etc/profile
步骤三
多窗口执行，检测每个节点是否成功

java -version hadoop version

每个节点都一样，才是成功。

1，元数据的格式化
多执行窗口

su hadoop source /etc/profile

master节点

hdfs namenode -format

2，组件的启动
master节点

start-all.sh

多窗口执行

jps

3，使用网页形式查看
192.168.100.80:50070

192.168.100.80:8088

192.168.100.80:9000

后言
自此，一个Hadoop分布式大数据平台搭建完成，感谢观看，欢迎点赞，评论，提问，转发，不足之处，还请多多指教。