栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop之Yarn的工作机制

Hadoop之Yarn的工作机制

YARN主要由 ResourceManager、 NodeManager、 ApplicationMaster和 Container等组件构成。

YARN工作机制

(1)MR 程序提交到客户端所在的节点。
(2)YarnRunner 向ResourceManager 申请一个Application。
(3)RM 将该应用程序的资源路径返回给YarnRunner。
(4)该程序将运行所需资源提交到HDFS 上。
(5)程序资源提交完毕后,申请运行mrAppMaster。
(6)RM 将用户的请求初始化成一个Task。
(7)其中一个NodeManager 领取到Task 任务。
(8)该NodeManager 创建容器Container,并产生MRAppmaster。
(9)Container 从HDFS 上拷贝资源到本地。
(10)MRAppmaster 向RM 申请运行MapTask 资源。
(11)RM 将运行MapTask 任务分配给另外两个NodeManager,另两个NodeManager 分
别领取任务并创建容器。
(12)MR 向两个接收到任务的NodeManager 发送程序启动脚本,这两个NodeManager
分别启动MapTask,MapTask 对数据分区排序。
(13)MrAppMaster 等待所有MapTask 运行完毕后,向RM 申请容器,运行ReduceTask。
(14)ReduceTask 向MapTask 获取相应分区的数据。
(15)程序运行完毕后,MR 会向RM 申请注销自己。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/422609.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号