栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)

【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)

文章目录
    • 一、环境说明
    • 二、集群节点的添加
    • 三、集群结点的删除

一、环境说明

Hadoop-3.1.3 完全分布式:详细图文配置(可参考之前文章 【Hadoop 3】图文详解:搭建Hadoop完全分布式运行模式)

集群各结点的进程安排情况如下,现在欲添加的新结点主机名为 hadoop105。

hadoop102hadoop103hadoop104
HDFSNameNode
DataNode
DataNodeSecondaryNameNode
DataNode
YARNNodeManagerResourceManager
NodeManager
NodeManager
二、集群节点的添加

1、拷贝虚拟机:现有客户机 hadoop102、hadoop103、hadoop104,欲添加一结点,使其名为 hadoop105(拷贝自 hadoop104);

(说明:之前已考虑到了扩充性问题,因此已预先在所有客户机中添加了IP与主机名的映射)


2、删除原有hadoop104中的文件:当前,hadoop105事先要先清空掉 ~/.ssh 目录下的文件,因为它自己拷贝自hadoop104,还存着hadoop104的免密及公私钥配置,所以要删掉;另外,还要删除hadoop目录下的data和logs目录,并重新格式化namenode,因为里面也是存着拷贝源hadoop104的文件。

3、修改主机名与IP:



4、重启:reboot

5、配置SSH:
(1) 在hadoop102中:将自己的公钥给hadoop105,另外,hadoop103、hadoo104也是同理;

(2) 在hadoop105中生成自己的公私钥,并将自己的公钥发给集群中的其他客户机


6、在workers目录中添加新的hadoop105结点的主机名:

7、启动hadoop105的DataNode进程和NodeManager进程:

8、在主节点进行刷新:

9、查看节点状态:

三、集群结点的删除

1、自定义一个结点列表文件:来到hadoop/etc/hadoop目录下

2、配置hadoop/etc/hdfs-site.xml:指定刚才创建的文件:

3、再次重启hadoop105的datanode、nodemanager进程,与hadoop集群,查看当前集群中的hadoop105的状态是 Decommissioned,已成功使其退役。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/336140.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号