栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop生态之YARN

Hadoop生态之YARN

YARN(Yet Another Resource Negotiator)是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序相当于运行在操作系统之上的应用程序。

ResourceManager负责协调和管理整个集群资源,相应用户提交的不同类型应用程序的解析、调度、监控等工作。有两个组件构成:调度器(Scheduler)和应用程序管理器(Applications Master)。

NodeManager是YARN集群中真正资源的提供者,是真正执行应用程序容器的提供者,监控应用程序的资源使用情况,并通过心跳向几圈资源调度器ResourceManager进行汇报。

Container是一个抽象出来的逻辑资源单位。它封装了一个节点上的CPU、内存、磁盘和网络等信息,MapReduce程序的所有Task都是一个容器里执行完成的,容器大小可以动态调整。

调度器

        1.FIFO(先进先出调度器)

                单队列,根据提交作业的先后顺序进行执行

                优点:简单方便

                缺点:不支持多队列,生产环境较少使用

        2.Capacity

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/707720.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号