栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

手把手教你搭建HADOOP集群

手把手教你搭建HADOOP集群

准备工作:

准备三台虚拟机,关闭防火墙,修改他们的主机名,第一台虚拟机为master 剩下两台分别是slave1和slave2,修改hosts文件 修改他们的主机映射,三台进行免密操作。

基础配置:

修改主机名

永久修改:vim /etc/hostname

重启 restart

零时修改: hostnamectl set-hostname name

刷新 bash

关闭防火墙,配置主机映射

1.判断防火墙是否关闭 systemctl status firewalld

2.关闭防火墙 systemctl stop firewalld ps:我们只需要关闭防火墙即可,三台都要关闭

3.开启 systemctl start firewalld

修改host文件

vim /etc/hosts

 ip地址填你们自己的 上面的图的ip地址是我的。

免密登入:

ssh-keygen 生成公钥之后三次回车

出现这个表示秘钥生成成功 

进行配置免密登入:

ssh-copy-id master #对master进行免密 
ssh-copy-id slave1 #对slave1进行免密 
ssh-copy-id slave2 #对slave2进行免密 
shh localhost #内回环

如果显示无法找到hostname 就去hosts文件看一下是不是自己的单词或者ip写错了
或者可以直接使用ssh-copy-id (192.xx.xx.xxx)ip地址 #对指定虚拟机进行免密 

第一步 安装JDK

首先解压文件jdk压缩包到指定目录

tar -zxvf 压缩包名字 -C 解压路径

配置系统环境变量

vim /etc/profile

配置代码

JAVA_HOME=/usr/java/jdk1.8.0_221

CLASSPATH=$JAVA_HOME/lib

PATH=$PATH:$JAVA_HOME/bin

export JAVA_HOME CLASSPATH PATH

分发给slave1 slave2-

分发命令:
scp -r /分发的文件夹路径地址 分发ip地址或者主机名:/上一级路径地址



示例代码:
scp -r /usr/java/ slave1:/usr/ 
scp -r /usr/java/ slave2:/usr/

 分发系统变量 
scp -r /etc/profile/ slave1:/etc/
scp -r /etc/profile/ slave2:/etc/

JDK分发过去之后,环境变量也要记得分发过去。

在另外两个节点

source /etc/profile

之后查看是否配置成功

java -version 

出现版本号 则配置成功

HADOOP集群搭建:

解压文件jdk压缩包到指定路径

示例代码: tar -zxvf hadoop-2.7.7.tar.gz -C /usr/hadoop/

配置hadoop系统环境变量

vim /etc/profile

配置系统环境变量代码

#hadoop 
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.7
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib 
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

上面是我的hadoop安装地址 HADOOP_HOME的安装路径需要替换成你自己hadoop安装目录

source /etc/profile

查看服务

hadoop version

来到配置文件目录下

cd /usr/hadoop/hadoop-2.7.7/etc/hadoop/

cd 进入你安装的hadoop的目录/etc/hadoop/

然后可以ls 查看下面的文件

1.编辑hadoop-env.sh文件

往里面添加java_home就行了,可以在环境变量里面复制过来 /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_221

2.vim yarn-evn.sh

同样添加java_home进去

export JAVA_HOME=/usr/java/jdk1.8.0_221

3.设置全局参数,指定NN的IP为master,端口为9000

vim core-site.xml


  fs.default.name
   hdfs://master:9000


  hadoop.tmp.dir
   /usr/hadoop/hadoop-2.7.7/hdfs/tmp

4.设置HDFS参数

vim hdfs-site.xml



  dfs.replication
   2


  dfs.namenode.name.dir
   file:/root/hadoopData/name


  dfs.datanode.data.dir
   file:/root/hadoopData/data

5.配置yarn核心参数'

vim yarn-site.xml



  yarn.resourcemanager.admin.address
   master:18141


  yarn.nodemanager.aux-services
   mapreduce_shuffle


6 vim mapred-site.xml  这个文件只有模板文件

需要cp mapred-site.xml.template mapred-site.xml

然后编辑刚刚cp过的文件



  mapreduce.framework.name
   yarn

7.编辑slaves文件

往里面添加另外两个虚拟机的主机名,如果主机名没有配置好可以输入另外两台的ip地址

slave1
slave2

8.编辑master文件

添加主节点虚拟机的名字进去就好了,

master

9.分发集群 ,系统环境变量到slave1 slave2

ps:分发hadoop过去 同时也要分发环境变量过去,另外两台别忘记source一下。

10.初始化hadoop 在master节点

初始化命令为: hadoop namenode -format

11.启动集群 查看节点

start-all.sh

然后可以输入jps命令 查看节点 看看是否启动成功,

可以在浏览器输入 

192.xxx.xxx.xx (你的master节点的ip地址):/50070 进入web页面

示例代码:192.168.10.100:50070

如果进不去 则是没有关闭防火墙,或者节点没有开启,节点开不起来可以重新输入启动命令,如果还是起不来,则要去检查hadoop的配置文件是否写正确,这东西熟能生巧,多搭建就好了,嘿嘿,到此教程结束了,小编第一次发教程可能写的不是太好,请多多担待。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/752751.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号