栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 系统运维 > 运维 > Linux

Hadoop完全分布式搭建

Linux 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Hadoop完全分布式搭建

1、克隆虚拟机

    

 2、完全分布式的安装

1.  集群规划

集群规划

主机名

IP

HDFS

Yarn

Master

192.168.171.141

namenode

datanode

nodeManager

slave1

192.168.171.142

secondarynamenode

 datanode

nodeManager

slave2

192.168.171.143

datanode

resourceManager 

nodeManager

2、完全分布式的安装

2.  修改hostname 及 hosts

$ vim /etc/hostname
$ vim /etc/hosts

所有的主机hosts文件均配置

192.168.171.141 Master

192.168.171.142 slave1

192.168.171.143 slave2

2、完全分布式的安装

2.  修改hostname 及 hosts

修改hostname 及 hosts

① 进入系统后将用户切换为超级用户

② 修改主机名分别为Master、  slave1、  slave2 

$ vim /etc/hostname

③ 在三台虚拟机中修改host为: $ vim /etc/hosts

192.168.171.141 Master

192.168.171.142 slave1

192.168.171.143 slave2

④ 在三台虚拟机中修改各自IP地址

$ vim /etc/sysconfig/network-scripts/ifcfg-ens33

Master地址:192.168.171.141

slave1地址:192.168.171.142

slave2地址:192.168.171.143

 

 

 

注意: ip地址要和自己的网段相同, 不然无法连通。

④ 重启虚拟机

$ reboot

3.  测试集群可否相互ping通

使用ping命令查看是否可以相互 ping通

在Master中:

# ping slave1

# ping slave2

在slave1中:

# ping Master

# ping slave2

在slave2中:

# ping Master

# ping slave1

 

3.  配置ssh免密登录

① 生成密钥

# ssh-keygen -t rsa

一路回车即可。注意Master ,slave1 ,slave2皆需要生 成密钥。

配置ssh免密登录

② 将公钥信息保存至授权认证中

# cd .ssh

# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

//将公钥信息保存至授权认证中 authorized_keys , 以后可以进行免登录处理

注意: Master、 slave1、 slave2皆需要保存授权

③ 完成相互的免密配置

在Master上:

# ssh-copy-id 192.168.171.142 # ssh-copy-id 192.168.171.143

在slave1上:

# ssh-copy-id 192.168.171.141 # ssh-copy-id 192.168.171.143

在slave2上:

# ssh-copy-id 192.168.171.141 # ssh-copy-id 192.168.171.142

④ 验证是否免密登录

例如:在slave2上验证

# ssh root@Master

# ssh root@slave1

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/756904.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号