栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop集群 ——高可用(HA)

Hadoop集群 ——高可用(HA)

保证集群运行的高稳性。

1.相关版本:

        Hadoop1.x   没有高可用

        Hadoop2.x   自己手动配置高可用

        Hadoop3.x   框架中已经支持高可用,无需手动配置

2.实现原理:

        在一个集群中,有两个NameNade

        同一时刻只能有一个NameNode处于active状态,另一个处于standby状态

        这两个NameNode通过zookeeper实现数据的实时同步

        某一时刻如果active状态的NN挂掉,standby状态的NN马上切换到active状态

        为了避免出现脑裂的情况,在集群中有一个健康管理的进程

        一旦数据交互不能满足需求的时候

        不管是否处于active状态直接杀死,启动下一个。

3.NameNode的联邦机制

        如果集群内节点的数量特别多且数据量相当庞大,元数据也可能占用很大的空间

        可以使用多个active状态的NameNode节点存储的都是不同的元数据,有条件要求。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/652394.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号