栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

超详细超简单的搭建三台虚拟机集群

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

超详细超简单的搭建三台虚拟机集群

1.vm虚拟机配置
宿主机:真机
NAT模式:(VM虚拟机里面设置)
查看:你的NAT网段和网关是多少?
网段:192.168.136.0/24
网关:192.168.136.2

我的规划:
NN1 192.168.136.200
DN1 192.168.136.201
DN2 192.168.136.202

CETNOS7 NN1 里面配置IP
ifconfig 查看网卡的名字--------ens33

root下面运行:

ifconfig   ens33   192.168.136.200  netmask  255.255.255.0

2.创建hadoop sudu权限

下面的命令在root用户下操作:
创建hadoop用户

useradd  hadoop
passwd  hadoop
vim   /etc/sudoers


插入:

Hadoop ALL=(ALL)    NOPASSWD:ALL

esc键+:wq!保存并退出
esc键+:q!退出
i插入

切换到hadoop用户

su - hadoop      ///”-”是用户环境一同切换过去。  
scp /etc/sudoers      root @192.168.136.201:/etc/
scp /etc/sudoers      root @192.168.136.202:/etc/ 


测试

3.关闭防火墙

sudo systemctl status firewalld.service  //查看防火墙的状态


关闭防火墙:

sudo systemctl stop firewalld.service
sudo systemctl disable firewalld.service

4.配置静态IP

su
vi /etc/sysconfig/network-scripts/ifcfg-ens33

如下图
同理更改DN1,DN2的静态IP,并sudo reboot看是否生效(有IP)

5.修改主机名
NN1 192.168.136.200
DN1 192.168.136.201
DN2 192.168.136.202

查看机器的名称

hostname

修改名称

vim /etc/hostname

将对应的主机名称修改一下

查看名称

cat /etc/hostname

同理更改DN1,DN2

6.修改IP和主机名的映射关系,主机IP映射如下

192.168.78.200 NN1
192.168.78.201 DN1
192.168.78.202 DN2
在下面这个文件里面添加以上内容

vim  /etc/hosts

同理修改DN1,DN2
测试:分别ping 主机的名字 ctl+z退出

安装插件:

yum install -y lrzsz


新建资源目录:

cd /home/
ll
mkdir soft
ll

7.卸载OPENJDK,安装新版JDK
上传jdk和hadoop命令:

rz



查看是否上传成功:

ll


查看以前安装的jdk:

rpm -qa | grep jdk


卸载原有的jdk,再查看:

rpm -e –nodeps +jdk名字


解压jdk:

tar -zxvf +jdk名称


解压hadoop:

tar -zxvf +hadoop名称


查看:

删除安装包,留下解压好的jdk和hadoop:

rm -rf +hadoop名称 
rm -rf +jdk名称


修改hadoop和jdk名称:

mv hadoop-2.7.2/ hadoop
mv jdk1.8.0_25/ jdk


8.准备三台CENTOS
完整克隆出另外两台电脑,并把IP,机器名更改后,再分别测试一下。(新手建议不要克隆,三台一起配置,加强记忆)

9.各节点无密钥登录配置(超简单)
1.切换到hadoop用户

su – hadoop

2.生成密钥对,并将公钥加入到授权文件中
输入:

cd  ~/.ssh  (如果没有这个目录,你先执行ssh  localhost就会生成.ssh目录)


输入:

ssh-keygen -t rsa

按三次回车后:

1.在hadoop目录下输入:

ll -a(查看生成的.ssh目录)

2.进入文件目录

cd .ssh


可以看到id_rsa是私钥
id_rsa.pub是公钥(私钥自己用,公钥给其他机器,一个公钥对应一个私钥)
3.将id_rsa.pub复制到新文件authorized_keys文件中:

cat id_rsa.pub >> authorized_keys

4.给这个authrized_keys文件授权为600

chmod 600 authorized_keys

5.在其他节点上执行相同操作(dn1/dn2)
6.将其他节点(DN1/DN2)的authorized_keys的内容直接右键复制到上NN1的authorized_keys文件里面
7.将NN1的authorized_keys直接复制到每个节点的hadoop用户下

scp ~/.ssh/authorized_keys hadoop@DN1:~/.ssh
scp ~/.ssh/authorized_keys hadoop@DN2:~/.ssh

配置JDK
配置环境变量:

vi /etc/profile

添加:

export JAVA_HOME=/home/soft/jdk
export HADOOP_HOME=/home/soft/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin


执行文件命令:

source /etc/profile

查看jdk版本:

java -version

配置HDFS
进入hadoop/etc/hadoop/目录下:

cd hadoop/etc/hadoop/

查看有哪些文件:

ll


1.修改core-site.xml命令: vi core-site.xml


fs.defaultFS
hdfs://NN1:9000  //NN1为主机名


io.file.buffer.size
4096


hadoop.tmp.dir
/home/soft/hadoop/tmp

2.修改hadoop-env.sh文件:vi hadoop-env.sh
添加一句:export JAVA_HOME=”/home/soft/jdk”

3.修改hdfs-site.xml命令:vi hdfs-site.xml


dfs.replication
2


dfs.namenode.name.dir
file:///home/soft/hadoop/name


dfs.datanode.dir
file:///home/soft/hadoop/data


4.重命名mapred-site.xml.template更名为mapred-site.xml:

mv  mapred-site.xml.template  mapred-site.xml


修改mapred-site.xml:vi mapred-site.xml


mapreduce.framework.name
yarn

5.修改slaves文件:

vi slaves

将主机名写进去

6.修改yarn-site.xml文件:vi yarn-site.xml


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.resourcemanager.address
NN1:8032


至此虚拟机配置已经配置好了
新手一枚发现问题,欢迎指正~~

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/357681.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号