新兵蛋子入学Hadoop第十天

配置历史服务器；配置日志聚集功能；Hadoop两个常用脚本

一、配置历史服务器​​​​​​

1）配置历史服务器脚本 mapred-site.xml

[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

i 插入；Esc退出编辑；shift+：+wq保存并退出

增加配置内容如下：


 mapreduce.jobhistory.address
 hadoop102:10020



 mapreduce.jobhistory.webapp.address
 hadoop102:19888

2）分发配置

[atguigu@hadoop102 hadoop]$ xsync etc/hadoop/mapred-site.xml

3）在hadoop102 启动历史服务器

启动历史服务器之前：若集群在运行中则需要重启集群；启动历史服务器

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/stop.dfs.sh
关闭HDFS
[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
启动HDFS

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
关闭YARN
[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh
启动YARN
因为yarn搭配在hadoop103上，所以要在hadoop103上启动

[atguigu@hadoop102 hadoop]$ mapred --daemon start historysever

4）查看历史服务器是否启动成功

[atguigu@hadoop102 hadoop-3.1.3]$ jps

有如下配置则正确

还有个NodeManger

二、日志聚集功能配置

1）配置yarn-site.xml

[atguigu@hadoop102 hadoop-3.1.3]$ vim yarn-site.xml

i 进入编辑；Esc退出编辑；shift+：+wq保存并退出
添加内容如下：


 yarn.log-aggregation-enable
 true


 
 yarn.log.server.url 
 http://hadoop102:19888/jobhistory/logs



 yarn.log-aggregation.retain-seconds
 604800

2）分发内容

[atguigu@hadoop102 hadoop]$ xsync /etc/hadoop/yarn.site.xml

3)重启yarn和historysever因为更改了yarn的配置，所以需要重启yarn；HDFS配置没有修改，所以不需要重启HDFS

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop.yarn.sh
关闭YARN
[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh
启动YARN
因为yarn搭配在hadoop103上，所以要在hadoop103上启动

[atguigu@hadoop102 hadoop-3.1.3]$mapred --daemon stop historyserver
关闭历史服务器
[atguigu@hadoop102 hadoop-3.1.3]$mapred --daemon start historyserver
启动历史服务器

三、Hadoop两个常用脚本 hadoop集群启停脚本（包含 hdfs，yarn，historyserver）

1）在bin目录下创建一个文档myhadoop.sh

[atguigu@hadoop102 ~]$ cd /home/atguigu/bin
[atguigu@hadoop102 bin]$ vim myhadoop.sh

2) 在新建文档下编写脚本

i 进入编辑；Esc退出编辑； shift+ ：+ wq保存并退出
添加内容如下：

#!/bin/bash
if [ $# -lt 1 ]
then
 echo "No Args Input..."
 exit ;
fi
case $1 in
"start")
 echo " =================== 启动 hadoop 集群 ==================="
 echo " --------------- 启动 hdfs ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
 echo " --------------- 启动 yarn ---------------"
ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
 echo " --------------- 启动 historyserver ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start 
historyserver"
;;
"stop")
 echo " =================== 关闭 hadoop 集群 ==================="
 echo " --------------- 关闭 historyserver ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop 
historyserver"
 echo " --------------- 关闭 yarn ---------------"
 ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
 echo " --------------- 关闭 hdfs ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
 echo "Input Args Error..."
;;
esac

3）修改脚本权限

[atguigu@hadoop102 bin]$ chmod 777 myhadoop.sh

4）分发脚本

[atguigu@hadoop102 bin]$ xsync myhadoop.sh

5)测试myhadoop.sh功能

[atguigu@hadoop102 bin]$ myhadoop.sh start
打开集群
[atguigu@hadoop102 bin]$ myhadoop.sh stop
关闭集群

查看三台服务器的jps脚本

1）在bin目录下创建个文档jpsall

[atguigu@hadoop102 ~]$ cd /home/atguigu/bin
[atguigu@hadoop102 bin]$ vim jpsall

2）在新建文档下配置脚本

i进入编辑；Esc退出编辑；shift+ ：+wq保存并退出

#!/bin/bash
for host in hadoop102 hadoop103 hadoop104
do
 echo =============== $host ===============
 ssh $host jps 
done

3）修改脚本权限

[atguigu@hadoop102 bin]$ chmod 777 jpsall

4）分发脚本

[atguigu@hadoop102 bin]$ xsync jpsall

5）测试脚本

[atguigu@hadoop102 bin]$ jpsall

6)根据命令jpsall反馈的信息和每台服务器的配置看能否对上。