栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Ubuntu安装Hadoop,添加新的DataNode结点

Ubuntu安装Hadoop,添加新的DataNode结点

0. 前置

当新的DataNode结点进入系统时,需安装Hadoop系统。

注意新创建的结点的用户名,需与其它结点相同(即集群中所有机器系统中用户名均一致),方便秘钥分发。

参见:Ubuntu安装Hadoop,并使用Python3调用https://blog.csdn.net/weixin_40901068/article/details/121883498?spm=1001.2014.3001.5501

1. 配置网络

首先,需确保新节点IP地址,与所有的现存集群中的计算机能够ping通。

以下1-4步骤均在namenode机器中完成。

在namenode上编辑网络配置表。

sudo vim /etc/hosts  # 使用vim编辑网络配置表

在namenode网络配置表中添加:

新增第一台虚拟机的IP地址  datanodeN0
新增第二台虚拟机的IP地址  datanodeN1
新增第三台虚拟机的IP地址  datanodeN2
......
 2.添加worker

在namenode所在节点上,打开workers文件并编辑。

cd /usr/local/hadoop/etc/hadoop  # 切换至hadoop安装目录下的etc/hadoop
vim workers  # 编辑workers文件

编辑 workers(有几个datanode就写几个):

datanodeN0
datanodeN1
datanodeN2
3. 分发秘钥

分发秘钥给新添加的结点(注意不要更新秘钥,只是分发)

scp /home/username/.ssh/authorized_keys  username@datanodeN0:~/.ssh/  # 分发秘钥给datanodeN0
scp /home/username/.ssh/authorized_keys  username@datanodeN1:~/.ssh/  # 分发秘钥给datanodeN1
scp /home/username/.ssh/authorized_keys  username@datanodeN2:~/.ssh/  # 分发秘钥给datanodeN2

在分发时可能会输入密码,请输入新增机器的用户密码。

输入ssh可验证针对某一台的秘钥分发是否成功。

ssh datanodeN0 # ssh登录datanodeN0

若无需密码即登录成功,证明秘钥分发已成功完成。

输入exit退出ssh:

exit # ssh登录后都需要退出操作
4. 启动新节点系统

切换至hadoop安装路径:

cd /usr/local/hadoop

执行下述命令,启动新节点:

sbin/hadoop-daemon.sh start datanodeN0 # 启动N0结点
sbin/hadoop-daemon.sh start datanodeN1 # 启动N1结点
sbin/hadoop-daemon.sh start datanodeN2 # 启动N2结点
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/745169.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号