栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Hadoop完全分布式的搭建

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Hadoop完全分布式的搭建

其实完全分布式跟伪分布式的搭建方式基本相同,只有个别文件需要更改,那我们下面开始吧!

第一步还是配置IP地址,主机名,以及主机与IP地址的映射,教程在我上一篇的伪分布式搭建里面都有,在这里就不再叙述啦。

注:Hadoop完全分布式分为主从两个节点,主节点有一个,我这里将主节点的主机名命名为master,从节点有两个,分别定义为:slave1,slave2

第二步还是关闭防火墙,(记得三台虚拟机都要关闭哦!配置IP地址,主机名,以及主机与IP地址的映射也是三个设备都要操作,PS:可以先配置一个,然后使用scp命令拷贝到另外两个设备上)

第三步:还是将Hadoop与jdk文件解压到指定文件夹下,都是跟伪分布式相同的操作哈。(在master设备上完成)

#解压到指定目录
tar -zxvf /root/hadoop-2.7.3.tar.gz -C /opt 
tar -zxvf /root/jdk1.8.0_144.tar.gz -C /opt
 
#查看
ll /opt

第四步:SSH免密链接(在master设备上完成!!!):

# 1、生成密钥对
ssh-keygen -t rsa
 
# 2、将公钥文件导出传递给本机,注意公钥文件的路径,操作是需要输入root用户的密码
ssh-copy-id -i /root/.ssh/id_rsa.pub master

# 3、将公钥文件导出传递给两个从节点,注意公钥文件的路径,操作是需要输入root用户的密码
ssh-copy-id -i /root/.ssh/id_rsa.pub slave1
ssh-copy-id -i /root/.ssh/id_rsa.pub slave2
 
# 4、检验,用ssh命令连接本机(无需密码)
ssh master

ssh slave1 
#进入slave1之后,需要先exit退出,再进行检验slave2
ssh slave2

第五步:修改环境变量文件并验证是否配置成功(文件在/etc/profile)(在主节点master上面完成):

# 在文件末尾处添加
export JAVA_HOME=/opt/jdk1.8.0_144 #配置jdk环境
export HADOOP_HOME=/opt/hadoop-2.6.0 #配置hadoop环境 PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
# 保存退出
 
 
#刷新文件
source /etc/profile
 
# 查看hadoop与java是否生效,出现版本号,说明配置成功(若未查到命令,需要再次检查/etc/profile文件哦!!!)
 
hadoop version 
java -version
 
 

第九步:(与分布式的区别)将/etc/profile文件复制到slave1和slave2节点并使能生效(记得复制过去后需要source一下profile文件哦!!!):

scp /etc/profile root@slave1:/etc/   #可能需要输入slave1的密码
scp /etc/profile root@slave2:/etc/

#记得复制过去后需要source一下profile文件哦!!!

第十步:修改hadoop相关配置文件:(相较与伪分布式多了一个文件)(以下操作均在master设备上完成!!!):

        (1)、core-site.xml文件:(在标签中插入)


        fs.defaultFS
        hdfs://master:9000  #master:主机名


        hadoop.tmp.dir
        /opt/hadoop-2.6.0/tmp #/opt/hadoop-2.6.0:hadoop解压缩路径

        (2)、hadoop-env.sh 文件:

export JAVA_HOME=/opt/jdk1.8.0_144  #jdk解压缩路径
 

        (3)、hdfs-site.xml文件:(在标签中插入)

	
		dfs.namenode.name.dir
		/opt/hadoop-2.6.0/dfs/name  #/opt/hadoop-2.6.0:hadoop解压路径
	
	
		dfs.datanode.data.dir
		/opt/hadoop-2.6.0/dfs/data  #/opt/hadoop-2.6.0:hadoop解压路径
	
	
		dfs.namenode.checkpoint.dir
		/opt/hadoop-2.6.0/dfs/namesecondary  #/opt/hadoop-2.6.0:hadoop解压路径
	
	
	
		dfs.namenode.secondary.http-address
		master:50090 #master:主机名
	
	 
                dfs.replication
                1 #因为是主从分布结构的,所以这里写1
     

        (4)、mapred-site.xml 文件(mapred-site.xml 文件默认不不存在,先从模板复制出来)(在标签中插入):

# 复制并改名
cp mapred-site.xml.template mapred-site.xml
 
#配置信息

    mapreduce.framework.name
    yarn

 

    mapreduce.jobhistory.address
    master:10020 #master:主机名

 
 

    mapreduce.jobhistory.webapp.address
    master:19888 #master:主机名

        (5)、yarn-site.xml 文件:设置 yarn 资源管理器的主机名,设置 yarn 节点管理器辅助功能(在标签中插入):


     yarn.resourcemanager.hostname
     master #master:主机名


     yarn.nodemanager.aux-services
     mapreduce_shuffle

        (6)、slaves文件:(与伪分布式不同的地方)

#在slaves文件中加入两个从节点的主机名即可
slave1
slave2

第十一步:将文件复制到slave1和slave2节点上:

scp -r /opt/hadoop-2.6.0 root@slave1:/opt/  #/opt/:为Hadoop的解压路径

scp -r /opt/hadoop-2.6.0 root@slave2:/opt/

scp -r /opt/jdk1.8.0_144 root@slave1:/opt/  #/opt/:为jdk的解压路径

scp -r /opt/jdk1.8.0_144 root@slave1:/opt/

第十二步:格式化:(注:格式化操作不能重复执行,如需重复执行,须将/opt/hadoop/dfs 目录下 的内容清空再执行格式化)

hadoop namenode -format

第十三步:启动hadoop,查看进程:

         主节点:

# 启动hadoop
start-all.sh
 
#jps查看进程:
jps
 
#有以下进程说明搭建hadoop成功

1875 SecondaryNameNode
2724 Jps
2167 ResourceManager
1544 NameNode
#(进程号可以不同,但进程不能说少)

        slave1:

#(进程号可以不同,但进程不能说少)
1908 Jps
1763 NodeManager
1669 DataNode

        slave2:

#(进程号可以不同,但进程不能说少)
1888 Jps
1737 NodeManager
1623 DataNode

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/361186.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号