Hadoop完全分布式搭建补充

1. 配置 mapred-site.xml

   cd /opt/module/hadoop-2.7.2/etc/hadoop/
   vim mapred-site.xml 
   

   在该文件里面增加如下配置：

   
   
    mapreduce.jobhistory.address
    slave2:10020
   
   
   
    mapreduce.jobhistory.webapp.address
    slave2:19888
   
   

2. 分发配置

   xsync mapred-site.xml
   

   == 如果yarn开启的话，要重启一下yarn==

3） 在 hadoop102 启动历史服务器

mr-jobhistory-daemon.sh start historyserver

4）查看历史服务器是否启动

5） 查看 JobHistory
http://slave2:19888/jobhistory

我们经常会向yarn集群上提交任务，但是任务执行完后，我们就不能再查看log文件了。此时我们可以开启historyserver，实现yarn集群上历史任务的保存。

1. 修改 yarn-site.xml 文件

   cd /opt/module/hadoop-2.7.2/etc/hadoop/
   vim yarn-site.xml
   

   	
   	
   		yarn.log-aggregation-enable
   		true
   	
   	
   	
   		yarn.log.server.url
   		http://slave102:19888/jobhistory/logs
   	
   	
   	 
   		yarn.log-aggregation.retain-seconds
   		604800
   	
   

2. 分发到slave103、slave104

   xsync yarn-site.xml 
   

3. 启动historyserver

   #先关闭yarn集群
   stop-yarn.sh
   start-yarn.sh
   
   #启动historyserver
   mr-jobhistory-daemon.sh start historyserver
   

1. 各个服务组件逐一启动/停止
   （1）分别启动/停止 HDFS 组件

   hadoop-daemon.sh start/stop namenode/datanode/secondarynamenode
   

   （2）启动/停止 YARN

   yarn-daemon.sh start/stop resourcemanager/nodemanager
   

2. 各个模块分开启动/停止（配置 ssh 是前提）常用
   （1）整体启动/停止 HDFS

   start-dfs.sh / stop-dfs.sh
   

   （2）整体启动/停止 YARN

   start-yarn.sh / stop-yarn.sh
   

一. 快速启动关闭Hadoop集群(包含HDFS，Yarn、Historyserver)：myhadoop.sh

1. 指定目录创建文件(myhadoop.sh)并添加内容

   cd /root/bin
   vim myhadoop.sh
   

   #!/bin/bash
   
   if [ $# -lt 1 ]
   then
       echo "No Args Input..."
       exit ;
   fi
   
   case $1 in
   "start")
           echo " =================== 启动 hadoop集群 ==================="
   
           echo " --------------- 启动 hdfs ---------------"
           ssh slave2 "/opt/module/hadoop-2.7.2/sbin/start-dfs.sh"
           echo " --------------- 启动 yarn ---------------"
           ssh slave2 "/opt/module/hadoop-2.7.2/sbin/start-yarn.sh"
           echo " --------------- 启动 historyserver ---------------"
           ssh slave2 "/opt/module/hadoop-2.7.2/sbin/mr-jobhistory-daemon.sh start historyserver"
   ;;
   "stop")
           echo " =================== 关闭 hadoop集群 ==================="
   
           echo " --------------- 关闭 historyserver ---------------"
           ssh slave2 "/opt/module/hadoop-2.7.2/sbin/mr-jobhistory-daemon.sh stop historyserver"
           echo " --------------- 关闭 yarn ---------------"
           ssh slave2 "/opt/module/hadoop-2.7.2/sbin/stop-yarn.sh"
           echo " --------------- 关闭 hdfs ---------------"
           ssh slave2 "/opt/module/hadoop-2.7.2/sbin/stop-dfs.sh"
   ;;
   *)
       echo "Input Args Error..."
   ;;
   esac
   

2. 分发脚本并修改脚本 myhadoop.sh 具有执行权限

    xsync myhadoop.sh
    chmod 777 myhadoop.sh
   

3. 调用脚本形式

   myhadoop.sh start  #启动服务
   myhadoop.sh stop   #关闭服务
   

二. 查看三台服务器Java进程脚本

1. 指定目录创建文件(jpsall)并添加内容

   cd /root/bin
   vim jpsall
   

   for host in slave2 slave3 slave4
   	do
   	 echo =============== $host ===============
   	   ssh $host /opt/module/jdk1.8.0_144/bin/jps 
   	done
   

2. 分发脚本并修改脚本 jpsall.sh 具有执行权限

    xsync jpsall
    chmod 777 jpsall
   

3. 调用脚本形式

   jpsall