栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

MR作业的生命周期

MR作业的生命周期


五步骤

步骤一:作业提交和初始化

  • 提交作业,JobClient实例将作业相关信息,比如程序jar包、作业配置文件、分片元信息文件(记录了每个输入分片的逻辑位置信息)等上传到HDFS上。
  • JobClient通过RPC通知JobTracker
  • JobTracker收到新作业提交请求后,由作业调度模块对作业进行初始化:为作业创建一个JobInProgress对象以跟踪作业运行状况,而JobInProgress则会为每个Task创建一个TaskInProgress对象以跟踪每个任务的运行状态,TaskInProgress可能需要管理多个“Task运行尝试“(称为”Task Attempt“)

步骤二:任务调度与监控

  • 任务调度和监控的功能均由JobTracker完成,TaskTracker周期性地通过Heartbeat向JobTracker汇报本节点的资源使用情况,一旦出现空闲资源,JobTracker会按照一定的策略选择一个合适的任务使用该空闲资源,这由任务调度器完成。任务调度器是一个可插拔的独立模块,双层架构,即首先选择作业,然后从该作业中选择任务,其中,选择任务时需要重点考虑数据本地性。
  • 此外,JobTrakcer跟踪作业的整个运行过程,并为作业的成功运行提供全方位的保障。首先,当TaskTracker或者Task失败时,转移计算任务;其次,当某个Task执行进度远落后于同一作业的其他Task时,为之启动一个相同Task,并选取计算快的Task结果作为最终结果。

步骤三:任务运行环境准备

运行环境准备包括JVM启动和资源隔离,均由TaskTracker实现,TaskTracke为每个Task启动一个独立的JVM以避免不同Task在运行过程中互相影响;同时,TaskTracker使用了操作系统进程实现资源隔离以防止Task滥用资源。

步骤四:任务执行

TaskTracker为Task准备好运行环境后,启动Task。运行过程中,每个Task的最新进度首先由Task通过RPC汇报给TaskTracker,再由TaskTracker汇报给JobTracker。

步骤五:作业完成

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/612698.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号