栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Ubuntu20.04搭建hadoop集群

Ubuntu20.04搭建hadoop集群

❀因为学业原因,我需要学习在Ubuntu系统上面搭建出hadoop集群,此贴记录下我的搭建过程,防止以后自己忘记

首先需要提前搭建好Ubuntu系统,在系统中配置上静态ip

Ubuntu20.04静态ip的配置:

第一步:cd /etc/netplan
第二步:修改其下名为01-network-manager-all.yaml的文件
vi 01-network-manager-all.yaml
第三步:
文件初始状态

增加内容
我的虚拟网络编辑器NAT模式下的WMnet8的子网地址为192.168.40.0,故而如此设定,每个人的都不相同,根据自己的来设定

第四步:更新设置sudo netplan apply
第五步:ip addr查看ip地址,此时已经发生变化

叮叮叮!!!!意外发现一种更简单的方法:
在网络-有线-设置里面
可以直接手动更改,然后应用。。。。。。

虚拟机名称的修改:
hostname:查看现在的主机名称
主机名称修改:hostnamectl set-hostname ‘hadoop01’
克隆虚拟机:
hadoop集群的配置需要多台服务器,这里根据个人需要配置克隆虚拟机的数量

*`右键-管理-克隆-虚拟机中的当前状态-创建完整克隆`*

克隆完毕要修改克隆之后的虚拟机的静态ip地址,切记不要同时点开多个虚拟机,因为此时他们的ip地址都相同

jdk配置:
首先需要下载安装好jdk包,我用的是jdk1.8.0_211,8版本的好像比较好用,根据自己的需要去安装,将jdk的安装包解压到/usr/local/java/之下
解压指令网上都是,例如tar -zxvf jdkXXX -C /usr/local/java/
随后配置jdk环境:
vi /etc/profile

export JAVA_HOME=/usr/local/java/jdk1.8.0_211
export PATH=$PATH:$JAVA_HOME/bin

修改完成后更新配置
source /etc/profile

服务器之间互传资料:
配置host映射:vi /etc/hosts
最后一行增加 (每一个虚拟机中都要做此操作哦,因为交朋友是双向的)
192.168.40.110 hadoop01
192.168.40.120 hadoop02
192.168.40.130 hadoop03

传文件scp -r /usr/local/jdkXXX hadoop02:/usr/local/

输入传输语句后,我在这个部分报错了:
解决办法:
修改/etc/ssh/ssh_config文件的配置,以后则不会再出现此问题
修改内容中:

StrictHostKeyChecking no
UserKnownHostsFile /dev/null

之后传输就成功了

免密操作(很重要):
1.各个服务器各自生成各自的密码:ssh-keygen
2.每个服务器告诉其他服务器自己的密码,别忘了告诉自己:
ssh-copy-id hadoop01
ssh-copy-id hadoop02
ssh-copy-id hadoop03

Hadoop集群配置
以Hadoop01为主节点为例,首先下载hadoop的安装包并解压到/usr/local/hadoop下
进入解压后的hadoop文件包里,到etc中,修改配置文件:
1.先修改hadoop依赖的环境(hadoop的底层代码使用的是java语言)
vi hadoop-env.sh

2.配置外界去访问hadoop的时候,所依赖的端口
vi core-site.xml

3.配置元数据与真实数据保存的位置
vi hdfs-site.xml

 replication用作数据备份,可以为3可以为2,根据从节点的数量设置最好,hadoop02与hadoop03最好就设置为2

4.配置mapreduce计算框架交给yarn资源来管理
vi mapred-site.xml(先不操作)
发现是一个临时文件,需修改成正式文件
mv mapred-site.xml.template mapred-site.xml
然后再Vi mapred-site.xml

5.配置yarn资源调度
vi yarn-site.xml

6.告诉集群,谁是从节点 hadoop02 hadoop03
vi slaves

主节点设置为hadoop01,不要把01也写进去

将配置的hadoop分发到所有的服务器:
scp -r /usr/local/hadXXX hadoop02:/usr/local/
scp -r /usr/local/hadXXX hadoop03:/usr/local/

启动的操作只需要在hadoop01主机中进行,0203不需要做

进入到sbin中

需要配置环境变量
vi /etc/profile
export HADOOP_HOME=/usr/local.hadoop-2.7.3
PATH中加一句:$HADOOP_HOME/bin:%HADOOP_HOME/sbin

然后更新环境配置 source /etc/profile
随后不要立刻start-all.sh!!!
第一次创建的hadoop集群,必须先初始化,初始化仅需一次,以后不要再进行初始化!!!
初次初始化会给主节点和从节点分配一致的clusterID,如果再初始化一次的话,主节点的clusterID就会改变,而从节点的不变,那么二者的ID就不一致了,就会出问题,无法管理。
clusterID的存放位置在/usr/local/hadXXX/data/name(data)/current,其下有一个VERSION,cat一下就会出现clusterID

hadoop namenode -format

这样就初始化成功啦!

随后可以开启集群

集群启动了之后可以通过jps查看一下节点名称

出现这个界面就证明hadoop集群配置成功了!

注意:每次对集进行修改后都需要停掉集群!!!

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/775519.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号