栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

flink的部署模式

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

flink的部署模式

文章目录
      • 会话模式(Session Mode)
      • 单作业模式(Per-Job Mode)
      • 应用模式(Application Mode)

flink 主要分为三种部署模式:
⚫ 会话模式(Session Mode)
⚫ 单作业模式(Per-Job Mode)
⚫ 应用模式(Application Mode)

会话模式(Session Mode)


首先启动一个集群,保持一个会话,在这个会话中通过客户端提交作业,此时集群所有的资源已经确定,所有提交的作业会竞争集群中的资源
问题: 同一个task manager上的作业出现故障,导致在该task manager 上的所有作业都失败

开启一个 YARN 会话,启动 Flink 集群

yarn-session.sh -nm test
单作业模式(Per-Job Mode)


客户端运行程序为每一个提交作业启动一个集群,该集群的生命周期和作业一样

flink run -d -t yarn-per-job -c com.atguigu.wc.StreamWordCount 
FlinkTutorial-1.0-SNAPSHOT.jar

或者

flink run -m yarn-cluster -c com.atguigu.wc.StreamWordCount 
FlinkTutorial-1.0-SNAPSHOT.jar
应用模式(Application Mode)

会话模式和单作业模式都是将客户端提交给job manager,这种方式需要占用大量网络带宽,下载依赖和二进制包发送给jobManager,加上很多情况下我们提交作业用的是同一个客户端,就会加重客户端所在节点的资源消耗,我们不要客户端了,直接把应用提交到 JobManger 上运行。而这也就
代表着,我们需要为每一个提交的应用单独启动一个 JobManager,也就是创建一个集群。这个 JobManager 只为执行这一个应用而存在,执行结束之后 JobManager 也就关闭了

flink run-application -t yarn-application -c com.atguigu.wc.StreamWordCount 
FlinkTutorial-1.0-SNAPSHOT.jar
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/871347.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号