栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

分布式资源管理与任务调度框架Yarn

分布式资源管理与任务调度框架Yarn

1.概念说明

  • Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)
  • 一种新的Hadoop资源管理器,一个通用资源管理系统
  • 为上层提供统一的资源管理与任务调度及监控,提高了集群管理效率、资源使用率、数据共享效率 2.特点特征

  • 资源管理与计算框架解耦设计,一个集群资源共享给上层各个计算框架,按需分配,大幅度提高资源利用率
  • 运维成本显著下降,只需运维一个集群,同时运行满足多种业务需求的计算框架
  • 集群内数据共享一致,数据不再需要集群间拷贝转移,达到共享互用
  • 避免单点故障、集群资源扩展得到合理解决 3.应用场景

        需要统一资源管理和任务调度的平台均可以使用,已成为大数据集群的必备组件之一。

    4.代码实现 5.架构设计
  • 转载请注明:文章转载自 www.mshxw.com
    本文地址:https://www.mshxw.com/it/780678.html
    我们一直用心在做
    关于我们 文章归档 网站地图 联系我们

    版权所有 (c)2021-2022 MSHXW.COM

    ICP备案号:晋ICP备2021003244-6号