栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

flink执行流程

flink执行流程

Flink 中的执行图可以分成四层:StreamGraph -> JobGraph -> ExecutionGraph -> Physical Graph。

首先
StreamGraph:是根据用户通过 Stream API 编写的代码生成的最初的图。用来表示程序的拓扑结构。
这是在客户端刚开始提交任务时生成的,然后客户端还要对StreamGraph优化生成JobGraph

JobGraph:是提交给 JobManager 的数据结构。主要的优化为: 将多个符合条件的节点 chain 在一起作为一个节点,这样可以减少数据在节点之间流动所需要的序列化/反序列化/传输消耗。

也就是说StreamGraph和JobGraph都是在客户端提交任务时完成的,JobManager拿到的是JobGraph,然后对它在处理生成ExecutionGraph。
ExecutionGraph:是JobGraph的并行化版本,是调度层最核心的数据结构。

JobManager会将自己生成的ExecutionGraph发送给TaskManager;然后TaskManager会根据ExecutionGraph生成Physical Graph;它并不是一个具体的数据结构。

执行图

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/663681.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号