栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

2021-11-12

2021-11-12

Flink yarn-application怪异显示: run-application -t yarn-application insert-into_default_catalog.default_database.XXX
ID:00000000000000000000000000000000

Flink yarn-application模式 JobId很怪异ID:00000000000000000000000000000000问题分析小记

搞技术难,坚持把一件事做好难,能坚持写文章记录踩坑生活更是难上加难,如果去定义一个好的文章标题那就是难得不得了了。今天文章标题就这么起了,就为大家能够更好的搜索到(PS:现在搜索一个技术文档实在是太难了,每一个平台都是商业广告化,搜索到一堆垃圾文档),解决你心中的疑惑!

问题展现(先把问题贴出)

看到下图,想必你也会口吐芬芳,我去!这不就是和我一样的问题吗!太好啦!
(要的就是这效果,希望下文能解决你心中疑惑),来上才艺!!!

提交命令展现

仔细看下,是否和你的相似,相信大家的长得和我的应该都差不多
这里便于大家学习参考,把官网文档粘一下:https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/deployment/resource-providers/yarn/
这里给的1.14版本
官网也是写的很简单,需要自己去深究:

我的提交命令:(我们进行了平台封装,写在脚本里)
关键的一小部分进行粘贴:

if [ "$run_mode" = "streaming" ];then
    if [[ -z $yjm || -z $ytm ]];then
        $BIN_DIR/flink-rt_test.sh run-application -t yarn-application 
        -d 
        -Djobmanager.memory.process.size=1024m 
        -Dtaskmanager.memory.process.size=2048m 
        ......

后面还有很多参数,截个图展现一下:

具体原因分析

使用Yarn Application模式启动Flink任务:
这个模式是从 1.11.1开始支持的,具体说明可以参考这个文档,写的还是不错的:https://www.jianshu.com/p/90d9f1f24937

这是因为Flink的配置文件conf/flink-conf.yaml里配置了高可用,但目前Flink HA下Application模式任务的Recovery比较复杂,不支持多个Job所以暂时就把JobId设置成0了。
这个Bug不影响Flink任务的正常运行,如果想要JobId恢复正常,可以暂时关闭Flink HA,等后续官方支持完备之后再升级版本开启。

高可用的配置:https://blog.csdn.net/weixin_33909059/article/details/87993510 [可参考别人的,我就不做赘述了]
配置:

看到这里,你大概知道什么原因和怎么做了吧!实操吧,少年!!!

每文末鸡汤
  加油,少年!
  别把自己看成废物,你若肯奋斗,十年后你就是人物。别总抱怨自己一无所有,你若能知足,时时刻刻都是幸福。
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/581385.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号