栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Spark源码之任务提交流程

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Spark源码之任务提交流程

Spark源码之任务提交流程

内容目录
    • Spark源码之任务提交流程
      • 一、流程
      • 二、流程图
      • 三、任务提交核心

Spark任务的提交大概可以看作是,根据spark提交参数创建一个client,由client创建一个applicationMaster,Master创建一个YarnCoarseGrainedExecutorBackend,driver在applicationMaster中,Executor在YarnCoarseGrainedExecutorBackend中。笼统的看可以是这样,中间还有很多东西。

一、流程
  1. 执行脚本提交任务,实际是启动一个 SparkSubmit 的 JVM 进程;

  2. SparkSubmit 类中的 main 方法反射调用 YarnClusterApplication 的 main 方法;

  3. YarnClusterApplication 创建 Yarn 客户端,然后向 Yarn 服务器发送执行指令:bin/java ApplicationMaster;

  4. Yarn 框架收到指令后会在指定的 NM 中启动 ApplicationMaster;

  5. ApplicationMaster 启动 Driver 线程,执行用户的作业;

  6. AM 向 RM 注册,申请资源;

  7. 获取资源后 AM 向 NM 发送指令:bin/java YarnCoarseGrainedExecutorBackend;

  8. CoarseGrainedExecutorBackend 进程会接收消息,跟 Driver 通信,注册已经启动的 Executor;然后启动计算对象 Executor 等待接收任务

  9. Driver 线程继续执行完成作业的调度和任务的执行。

  10. Driver 分配任务并监控任务的执行

二、流程图

三、任务提交核心

主要涉及到几个核心的类:SparkSubmit、ApplicationMaster 、YarnCoarseGrainedExecutorBackend

SparkSubmit调用 YarnClusterApplication实例化一个Client,由Client创建一个ApplicationMaster ,ApplicationMaster 向RM申请资源之后调用方法创建一个YarnCoarseGrainedExecutorBackend。Driver在ApplicationMaster 中,Executor在YarnCoarseGrainedExecutorBackend中

SparkSubmit、ApplicationMaster 和 YarnCoarseGrainedExecutorBackend是独立的进程;Driver 是独立的线程;Executor 和 YarnClusterApplication 是对象。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/950839.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号