栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Flink架构

Flink架构

Flinks所需组件 JobManager
    接受需要执行的应用,此应用包含一个JobGraph(逻辑Dataflow图),以及打包了全部所需类、库以及其他资源的JAR文件。JobManager将JobGraph转化为ExecutionGraph(物理Dataflow图),此图包含了那些可以并行的任务。JobManager向ResourceManager申请执行任务所需资源(TaskManager的slot槽)。将ExecutionGraph中的任务分发给TaskManager来执行。负责所有需要集中协调的操作,如创建检查点等。
ResourceManager
    分配TaskManager给JobManager。负责终止空闲的TaskManager以释放资源。
TaskManager
    向ResourceManager注册它的slot槽。接受ResourceManager的指示,向JobManager提供一个或多个槽。接受并执行JobManager提供的任务。
Dispatcher
    提供一个REST接口来让我们提交需要执行的应用。转交提交的应用给JobManager。启动WebUI,用来提供有关作业执行的信息。
Flink任务提交流程

通用提交流程(ResourceManager未指定)运行在yarn上的提交流程 Flink任务提交方式

standaloneyarn
1)session模式
①开辟资源
命令:./yarn-session.sh -n 2 -jm 1024 -tm 1024 -d
-n 2 表示分配两个container容器,也就是taskmanager的数量
-jm 1024 表示jobmanager 1024M内存
-tm 1024 表示taskmanager 1024M内存
-d 任务后台运行
②提交任务
./flink run jar包路径/jar包名.jar
2)job模式
命令:./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 jar包路径/jar包名.jar
-m yarn-cluster 指定需要连接的jobmanager(主节点)地址
-yn 2 表示分配两个container容器,也就是taskmanager的数量
-yjm 1024 表示jobmanager 1024M内存
-ytm 1024 表示taskmanager 1024M内存

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/730238.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号