栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

flink-1.12.2源码阅读总结

flink-1.12.2源码阅读总结

flink-1.12.2源码

Jobmanger 里面的三大组件
dispatch、resourcemanger(flink里面的,不是yarn的),Jobmaster

    dispatchresourcemanger(flink里面的,不是yarn的)Jobmaster
    resourcemanger(flink里面的,不是yarn的)内部的slotmanger向yarn的resourcemanger申请资源


    flink run -t yarn-per-job -c …xxxx.jar
    入口类
    CliFrontend
    1、参数解析
    2、 封装CommandLine:三个(Genric、YarnSession、),依次添加
    3、配置的封装
    4、 生成StreamGraph
    5、Executor:生成JobGraph
    6、集群描述器:上传jar包、配置、封装提交给yarn命令
    7、yarnclient提交应用geiYarnResourceMnager

YarnJobClusterEntryPoint:AM执行的入口类
1.Dispatcher的创建和启动
2.ResourceManger的创建、启动:里面有一个slotManger(真正管理资源,向yarn申请资源)
3.DisPatcher启动JobMaster(里面有一个slotpool,真正发送请求的)
4.slotpool向soltmanger申请资源,slotmanger向yarn申请资源(启动新节点)

YarnTaskExecutorRunner:Yarn模式下的TaskManger的入口类
1、启动 TaskExcutor
2、向ResourceManger注册slot
3、ResourceManger分配slot
4、TaskExecutor接收到分配的指令、提供offset给JobMaster(slotpool)
5、JobMaster提交任务给TaskExecutor去执行

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/714462.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号