栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

YARN的工作机制

YARN的工作机制

YARN定义:全称为Yet Anaother Resource Negotiator,是一套全新的任务调度和资源管理框架,是Hadoop2的关键组件之一。

不同于Hadoop1,YARN不仅支持MapReduce,还支持各种计算引擎,是一个通用的资源管理器。

YARN也是典型的Master-Slave架构,Master称为ResourceManager(RM),Slave称为NodeManger(NM)。

RM负责接收用户提交的任务,并且决定为任务分配多少资源和调度到哪个NM去执行;NM是真正执行任务的节点,周期性的像RN汇报自己的资源使用状况并领取RM分配的任务,负责启动和停止任务相关的进程等工作。

工作机制

1.用户使用客户端向RM提交一个任务,同时制定提交到那个队列和需要多少资源。用户可以通过每个计算引擎的对应参数设置,如果没有特别指定,则使用默认设置。

2.RM在收到任务提交的请求后,先根据资源和队列是否满足要求选择一个NM,通知他启动一个特殊的container,称为ApplicationMaster(AM),后续流程由他发起。

3.AM向RM注册后根据自己任务的需要,向AM通知NM启动container,包括数量,所需资源量,所在位置等因素。

4.如果队列有足够资源,RM会将container分配给有足够剩余资源的NM,由AM通知给NM启动container。

5.container启动后执行具体的任务,处理分给自己的数据。NM除了负责启动container,还负责监控它的资源使用状况以及是否失败退出等工作,如果container实际使用的内存超过申请时指定的内存,会将其杀死,保证其他container能正常进行。

6.各个container向AM汇报自己的速度,都完成后,AM向RM注销任务并退出,RM通知NM杀死对应的container,任务结束。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/423320.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号