栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop学习笔记(七)Job提交流程源码分析

Hadoop学习笔记(七)Job提交流程源码分析

Job提交流程源码分析 1 从 job.waitForCompletion 开始,进入waitForCompletion()开始进行提交。

2 在waitForCompletion中进行状态的确认。

共有两种状态:DEFINE和RUNING,

​ DEFINE状态进入submit()中。

​ RUNING状态表示集群此时正在运行,无法进行提交。

3 再次确认状态

再次确认状态为DEFINE,同时在connect()中会根据本地模式或是远程集群生成不同的对象,若是本地则生成 LocalJobRunner 对象。

4 构造YARNRunner对象:


5 开始提交信息给集群。

此处写入jar包。

调用了默认的TextInputFormat()对象进行分片操作,TextInputFormat会根据文件的数量进行分片,一个文件分一片,下图为分片信息文件。

此处提交配置文件

6 集群开始执行任务,之前上传的文件被删除,yarn服务器可以看到正在运行的任务。

7 任务执行成功

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/584910.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号