栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

yarn(资源调度平台)

yarn(资源调度平台)

目录

一:yarn架构分析

二:MapReduce在Yarn上执行流程


一:yarn架构分析

资源的调度和管理平台

主从结构

主节点,可以有2个:ResourceManager 相当于namenode是资源调度的

从节点,有很多个: NodeManager 进行执行任务

ResourceManager负责

集群资源的分配与调度

MapReduce、Storm、Spark等应用,必须实现ApplicationMaster接口,才能被RM管理

NodeManager负责

单节点资源的管理(CPU+内存) 硬盘

二:MapReduce在Yarn上执行流程

 

 

 

1:提交运行一个mapreduce(rm运行需要资源)

2:有一个mr,rm会开启一个container

3:container是资源分配的容器

4:在container中启动一个mapreduce (container给mapreduce用)

一个mapreduce可能有多个task 每个task运行都需要资源(通过rm分配contain)

mr继承一个接口application master(相当于mr)

rm需要知道mr中细节 有多少的task 应该分配多少个container

5:container给mr用

6:一个mr中有多个task每个task运行都需要资源(通过rm申请containner)

7:rm想要对mr进行资源分配 需要知道默认中的细节(有多少个task)分配多少个container

mr继承 application master

8:可以直接启动application master

注意:mr是mapreduce的缩写,rm是resourcemanager的缩写

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/673505.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号