大学生教材：Hadoop的安装与集群搭建(超详细讲解）终章（三）Hadoop集群配置，集群测试

任务一：Hadoop集群配置

任务二：Hadoop集群测试

紧跟上一篇内容，上节仅仅对单机上的Hadoop安装，为了在多台机器上进行Hadoop集群搭建和使用，还需要对相关配置文件进行修改。

任务一：Hadoop集群配置

进入目录：# cd  /export/servers/hadoop-2.7.4/etc/hadoop/

一：依次修改下面6个的文件：

（1）：配置hadoop-env.sh文件: 

目的：修改JAVA_HOME参数位置

vi core-site.xml

修改：

export JAVA_HOME=/export/servers/jdk1.8.0_161

（2）：配置core-site.xml文件（先建立文件夹/soft/hadoop/tmp）:

目的：配置HDFS地址、端口号、以及临时文件目录

vi core-site.xml

添加：

    

           fs.defaultFS

           hdfs://hadoop01:9000

    

    

            hadoop.tmp.dir

            /export/servers/hadoop-2.7.4/tmp

     

（3）：配置hdfs-site.xml文件：

目的：设置HDFS的NameNode和DataNode两大进程及Secondary NameNode所在服务的HTTP协议地址

vi hdfs-site.xml

添加：

   

         dfs.replication

         3

    

    

         dfs.namenode.secondary.http-address

         hadoop02:50090

     

（4）：配置mapred-site.xml文件(先改名:mv mapred-site.xml.template mapred-site.xml)

目录默认没有该文件，所以先改名

目的：指定MapReduce运行时框架

vi mapred-site.xml

添加：

   

           mapreduce.framework.name

           yarn

    

（5）： 配置yarn-site.xml文件：

目的：指定YARN集群的管理者

vi yarn-site.xml

添加：

     

     

            yarn.resourcemanager.hostname

            hadoop01

     

     

             yarn.nodemanager.aux-services

             mapreduce_shuffle

      

（6）：修改slaves文件：

目的：记录Hadoop集群所有从节点

vi slaves

删除默认的localhost添加：

hadoop01
hadoop02
hadoop03

二：将集群主节点的配置文件分发到其他子节点

即将hadoop01配置好的系统环境文件、JDK安装目录、Hadoop安装目录分发给hadoop02、hadoop03

scp /etc/profile hadoop02:/etc/profile

scp /etc/profile hadoop03:/etc/profile

scp -r /export/ hadoop02:/export/

scp -r /export/ hadoop03:/export/

然后分别在hadoop02、03上刷新配置文件：

source /etc/profile

任务二：Hadoop集群测试 （1）：格式化文件系统

首次启动HDFS需对主节点（hadoop01）进行格式化        （只格式化一次！！！！）

执行格式化【切记。只可以格式化一次！】

格式化两次将导致DataNode无法启动（cloudID改变）需去更改（很麻烦，建议重装hadoop目录！！！）

hadoop namenode -format

在信息中寻找successfully formatted（通常在中间位置，多数都成功）

 （2）：启动和关闭Hadoop集群（两种方法）

1、单节点逐个启动和关闭：

在主节点（hadoop01）上启动NameNode、ResourceManager：

hadoop-daemon.sh start namenode

yarn-daemon.sh start resourmanager

在规划节点（hadoop02）上启动SecondaryNameNode：

hadoop-daemon.sh start secondarynamenode

在每个从节点（hadoop02、03）上启动：DataNode、nodemanager：

hadoop-daemon.sh start datanode

yarn-daemon.sh start nodemanager

2、脚本一键启动和关闭：

在主机节点（hadoop01）上一键启动：（需配置SSH双向免密登录）

start-all.sh

 JPS看进程：

 

 

（3）：在window上添加IP映射：

 目的：在浏览器上进行集群访问

在C:WindowsSystem32driversetchosts添加IP映射

192.168.121.134 hadoop01

192.168.121.135 hadoop02

192.168.121.136 hadoop03

 

（4）：关闭集群所有节点的防火墙：

目的：对外开放集群

service iptables stop    #关闭防火墙

chkconfig iptables off   #关闭防火墙开机启动

 

 （5）：window浏览器查看：

1、查看HDFS的监控信息：

http://hadoop01:50070        或者        http://192.168.121.134:50070

 

2、查看YARN的监控信息：

http://hadoop01:8088        或者        http://192.168.121.134:8088

 

至此Hadoop集群已安装完毕，后续小编将继续进行zookeeper、hbace安装等

你的支持是我最大的动力。