栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop集群搭建(3台)

Hadoop集群搭建(3台)

vi /etc/hostname   #修改本机名字
(hadoop1.localdomain)

vi /etc/sysconfig/network-scripts/ifcfg-__ 
#设置ip(ifcfg的型号可用cd /etc/sysconfig/network-scripts后用ls命令查看)
( #更改
BOOTPROTO=static 
onBOOT=yes
#添加
IPADDR=                                        #设置当前虚拟机的ip(可在虚拟网络编辑器中查看ip的范围)
NATMASK=255.255.255.0                #子虚掩码(可在虚拟网络编辑器中查看)
GATEWAY=                                       #设置网关  (可在虚拟网络编辑器中查看)      
DNS=8.8.8.8                                #谷歌公开的dns
PREFIX=24                                #设置连接外网
DNS1=                                #可在本机的cmd中用ipconfig/all查看
DNS2

这里设置完可以试一下连接xshell,在虚拟机内ping自己的虚拟机IP和www.baidu.com,若出现IP可以ping通但是www.baidu.com显示可能是出现以下的情况:

1.查询不到可以参考以下链接的方式尝试一下:

(23条消息) 虚拟机下CentOS7开启SSH连接_dh2580-CSDN博客_centos7开启sshhttps://blog.csdn.net/trackle400/article/details/52755571尝试完可以去本地windows系统下的cmd中ping一下虚拟机的IP,成功xshell即可去尝试连接一下

2.或者可以执行cat /etc/resolv.conf查看DNS,看看DNS是否正确,或者查看一下/etc/sysconfig/network-scripts/ifcfg-*中数据是否更改添加正确

vi /etc/hosts(设置映射)
(
192.168.89.131 hadoop1 hadoop1.localdomain
192.168.89.132 hadoop2 hadoop2.localdomain
192.168.89.133 hadoop3 hadoop3.localdomain
)

service network restart                #重启网卡

若失败可以尝试讲上面文件中的hwaddr删除保存再运行

systemctl disable firewalld                #永久关闭防火墙(需重启才会生效)                                     
 systemctl stop firewalld                #关闭防火墙
systemctl status firewalld                #查看防火墙的状态


mkdir /export                
mkdir /export/software
cd /export/software


连接xshell
rpm -q lrzsz || yum -y install lrzsz
rpm -q lrzs


mkdir /export/servers


tar -zxvf 被压缩文件名称  -C /export/servers                #将文件压缩到/export/servers文件夹下

vi /etc/profile                        #配置jdk环境
(
export JAVA_HOME=
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib.dt.jar:$JAVA_HOME/lib/tools.jar
)

source /etc/profile                
java -version                #检验jdk是否配置成功(注意jdk是否为虚拟机自带的版本)

cd /export/servers/hadoop-2.7.4/etc/hadoop        #转到hadoop集群搭建的环境下

vi hadoop-env.sh                #配置第一个文件
(
export JAVA_HOME=(jdk存储地址)
)

vi core-site.xml                 #配置第二个文件
(


fs.defaultFS
hdfs://Hadoop1:9000


hadoop.tmp.dir
/export/servers/hadoop-2.7.4/tmp


)

vi hdfs-site.xml                 #配置第三个文件
(


dfs.replication
1


)

cp mapred-site.xml.template mapred-site.xml                 #配置第四个文件
vi mapred-site.xml
(


mapreduce.firework.name
yarn


)

vi yarn-site.xml                 #配置第五个文件
(

我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号