Hadoop 2.9.2集群安装部署

备前提：
1，关闭防火墙
2，关闭selinux
3，安装jdk
4，修改hosts文件
5，修改主机名与ip的对应关系
6，配置免密登入

需要三台（或以上）能够互相访问到的Linux主机
本实验中的三台主机为同一子网下的三台主机，分别为：
192.168.100.251：作为master，运行namenode、datanode结点
192.168.100.252：作为slave1，运行datanode结点
192.168.100.253：作为slave2，运行datanode结点
本次实验使用的是hadoop2.9.2，下载时选择binary选项，理论上hadoop2版本都能使用此方法，而hadoop3是一定不行的

三台机器同时操作，或者操作一台后scp到其余两台
一、上传下载hadoop2.9.2 并解压
下载链接：https://hadoop.apache.org/releases.html

wget https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
tar -zxvf hadoop-2.9.2.tar.gz

二、配置环境变量

vim  /etc/profile.d/hadoop.sh
export HADOOP_HOME=/exprot/server/hadoop-2.9.2/
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile
之后开始修改配置文件一共修改6个

三、配置slaves DateNode所在节点

vim /exprot/server/hadoop-2.9.2/etc/hadoop/slaves
master
slaver1
slaver2

四、修改hadoop-env.sh文件

vim /exprot/server/hadoop-2.9.2/etc/hadoop/hadoop-env.sh
export JAVA_HOME=${JAVA_HOME}

五、配置core-site.xml

vim /exprot/server/hadoop-2.9.2/etc/hadoop/core-site.xml

    
      fs.defaultFS
      hdfs://master:9000
      HDFS 的 URI，文件系统://namenode标识:端口
    

    
      hadoop.tmp.dir
      /opt/servers/hadoop-2.9.2/data/tmp
      namenode 上传到 hadoop 的临时文件夹
    

六、配置hdfs-site.xml

vim /exprot/server/hadoop-2.9.2/etc/hadoop/hdfs-site.xml


     
       dfs.replication
       3
       副本个数，默认配置是 3，应小于 datanode 机器数量
     
        
       dfs.namenode.secondary.http-address
       slaver2:50090
       辅助管理者的节点
     

七、配置mapred-env.sh

vim /exprot/server/hadoop-2.9.2/etc/hadoop/mapred-env.sh
export JAVA_HOME=${JAVA_HOME}

八、配置yarn-site.xml

vim /exprot/server/hadoop-2.9.2/etc/hadoop/yarn-site.xml


 
        yarn.resourcemanager.hostname
        lavers2
 

 
        yarn.nodemanager.aux-services
        mapreduce_shuffle
 





 yarn.log-aggregation-enable
 true




 yarn.log-aggregation.retain-seconds
 604800

九、修改目录权限

chown -R root:root hadoop-2.9.2

十、格式化
在master点上操作

hadoop namenode -format

start-dfs.sh（master上启动，访问master:50070）
start-yarn.sh（slaver2上启动，访问slaver2:8088）

最后配置历史服务器

这里大家先用mv进行改名，在进行编辑
vim /exprot/server/hadoop-2.9.2/etc/hadoop/yarn-site.xml

 
        mapreduce.framework.name
        yarn
 



 
    mapreduce.jobhistory.address
    master:10020
 



 
    mapreduce.jobhistory.webapp.address
    master:19888
 

日志聚合

配置yarn-site.xml


 yarn.log-aggregation-enable
 true




 yarn.log-aggregation.retain-seconds
 604800


行了，hadoop的集群算是ok了