栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

11.2.2、flink核心

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

11.2.2、flink核心

1、flink的架构
—taskmanager(启动task),jobmanager

Client:Flink 作业在哪台机器上面提交,那么当前机器称之为Client。用户开发的Program 代码,它会构建出DataFlow graph,然后通过Client提交给JobManager。

JobManager:是主(master)节点,相当于Spark的Driver,相当于YARN里面的ResourceManager,生产环境中需要做高可用。JobManager会将任务进行拆分,发送到TaskManager上面执行。


TaskManager:是从节点(slave),相当于Spark的Executor,执行task

2、flink的执行卡槽(共享槽位)
根据并行度设置,几个并行度就是几个task(并行的一个阶段),设置并行度为2,则下列的任务task为5个,source为一个,前面阶段2个task,后面阶段2个task(只不过一个并行度的task可以共享资源)

—这种不行,每个并行的任务都需要占用一个卡槽

—这种的每个并行的任务都在一个卡槽,包含上游端和下游端共享资源

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/686335.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号