栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

日志聚集功能配置

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

日志聚集功能配置

当我们想要查看hadoop的日志文件时点击logs

出现这种情况,翻译下来就是:未启用聚合。在 hadoop104:33157 上试用节点管理器
或查看 http://hadoop104:8042/node/application/application_1648280451890_0001 上的应用程序日志。简单来说就是没有配置日志的聚集功能。

日志聚集概念:应用运行完成以后,将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。

下面就开始开启日志聚集功能。

[hadoop@hadoop102 hadoop-3.1.3]$ cd etc/hadoop/ 
[hadoop@hadoop102 hadoop]$ vim yarn-site.xml 

进入 etc/hadoop 编辑yarn。site.xml文件

按i进行编辑插入如下代码。

在该文件里面增加如下配置。


    yarn.log-aggregation-enable
    true


  
    yarn.log.server.url  
    http://hadoop102:19888/jobhistory/logs



    yarn.log-aggregation.retain-seconds
    604800

完成后 :wq退出。

利用xsync脚本分发到其他机器中

[hadoop@hadoop102 hadoop]$ xsync yarn-site.xml 

关闭102的historymananger

[hadoop@hadoop102 hadoop-3.1.3]$ mapred --daemon stop historyserver

重启hadoop103的yarn 

[hadoop@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[hadoop@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh 

 启动historymanager

[hadoop@hadoop102 hadoop-3.1.3]$ mapred --daemon start historyserver

ok已经配置完成 我们测试一下

执行WordCount程序

再进入开始的页面点击logs,我们看一下有什么反应

 已经可以看到日志

 OK教程结束,感谢大家的观看,如有问题请指正,作者还在学习阶段,请多海涵。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/780874.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号