栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Flink on Yarn 日志存储位置

Flink on Yarn 日志存储位置

有时我们的flink作业中打印太多日志(可能GB级别),在flink job web上加载就会很慢,这时我们想找到job输出的文件存放在哪个节点的目录下,并直接去查看日志文件,但是怎么找呢,来吧我们看下,我有个场景,flink作业中使用System.out.print输出了很多日志,导致在flink job web上加载就很慢,下载该日志时提示有15G,所以干脆不要下载了。我们查看下flink on yarn的作业启动输出信息,找下它的任务在哪几个节点跑,并且找到日志位置信息,我们打开它的yarn任务界面

如图:

在这里我们可以看到flink任务启动了两个container,我们再到flink job web上查看作业启动信息,拿到日志输出位置,如图

这样我们就到相应的container所在节点相应的日志目录下找到输出日志就可以了,注意,flink job web上的Stdout日志对应着container中的taskmanager.out日志文件,我们直接看该文件就可以了

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/707472.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号