栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop全分布式的安装--hadoop-2.7.3

Hadoop全分布式的安装--hadoop-2.7.3

目录

一.安装准备

 二:主节点安装hadoop

三.从节点安装hadoop

 四.启动hadoop

五.验证安装


一.安装准备

1.需要三台虚拟机:主节点为hadoop001,从节点为hadoop002,hadoop003;

hadoop001,hadoop002,hadoop003;是虚拟机的主机名,

hostnamectl --static set-hostname hadoop001

改主机名;

我的虚拟机IP地址分别为:hadoop001(192.168.17.131),hadoop002(192.168.17.132),hadoop003(192.168.17.133)

虚拟机的IP地址可以用

ip addr

查看;

2.每台虚拟机都安装了jdk;

jdk安装操作参考:Linux系统CentOS7安装jdk_一个人的牛牛的博客-CSDN博客

3.三台虚拟机都配置了免密登录;

免密登录参考:Linux配置免密登录单机和全分布_一个人的牛牛的博客-CSDN博客

4.每台虚拟机都要关闭防火墙;

systemctl stop firewalld.service
systemctl disable firewalld.service

5.每台虚拟机都相互配置了主机名映射;

进入hosts

vi /etc/hosts

添加如下内容

192.168.17.131 hadoop001
192.168.17.132 hadoop002
192.168.17.133 hadoop003

在Windows上用记事本打开hosts(位置:C:WindowsSystem32driversetchosts )添加以下内容

192.168.17.131 hadoop001
192.168.17.132 hadoop002
192.168.17.133 hadoop003

 二:主节点安装hadoop

1.下载hadoop-2.7.3.tar.gz;

百度网盘链接:

链接:https://pan.baidu.com/s/1uQTVMzg8E5QULQTAoppdcQ 
提取码:58c5

2.上传hadoop-2.7.3.tar.gz到hadoop001,

直接把hadoop-2.7.3.tar.gz拖到MobaXterm_Portable的框框里就行。

参考MobaXterm_Portable的简单使用_一个人的牛牛的博客-CSDN博客

3.解压安装

tar -zvxf /tools/hadoop-2.7.3.tar.gz -C /training/

4.配置环境变量(三台虚拟机都要配置)

vi ~/.bash_profile
#hadoop
export HADOOP_HOME=/training/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

环境变量生效

source ~/.bash_profile

 5.创建tmp目录

mkdir /training/hadoop-2.7.3/tmp

6.修改配置文件

进入配置文件目录

 cd /training/hadoop-2.7.3/etc/hadoop/

ls查看文件

修改配置文件

1)hadoop-env.sh 

vi hadoop-env.sh

 添加jdk路径就可以了,我的路径是:

export JAVA_HOME=/training/jdk1.8.0_171

2)hdfs-site.xml

vi hdfs-site.xml

之间添加如下信息:


 dfs.replication
 2


 dfs.permissions
 false

3)core-site.xml

vi core-site.xml

之间添加如下信息:


     fs.defaultFS
     hdfs://hadoop001:9000
 
 
     hadoop.tmp.dir
     /training/hadoop-2.7.3/tmp
 

4)mapper-site.xml

vi mapper-site.xml

之间添加如下信息:


mapreduce.framework.name
yarn



mapreduce.jobhistory.address
hadoop001:10020



mapreduce.jobhistory.webapp.address
hadoop001:19888

5)yarn-site.xml

vi yarn-site.xml

之间添加如下信息:


        yarn.resourcemanager.hostname
        hadoop001


        yarn.nodemanager.aux-services
        mapreduce_shuffle



        yarn.log-aggregation-enable
        true



        yarn.log-aggregation.retain-seconds
        604800



    yarn.log.server.url
    http://hadoop001:19888/jobhistory/logs

6)slaves

vi slaves

添加如下信息:

hadoop002
hadoop003

7.格式化nameNode

hdfs namenode -format

会打印出如下日志信息:
Storage directory /tmp/hadoop-root/dfs/name has been successfully formatted.
显示成功!!!

三.从节点安装hadoop

1.将hadoop001上的hadoop环境复制到hadoop002,hadoop003上

scp -r /training/hadoop-2.7.3/ root@hadoop002:/training/
scp -r /training/hadoop-2.7.3/ root@hadoop003:/training/

 四.启动hadoop

1.在主节点hadoop001上执行

start-all.sh

停止hadoop用

stop-all.sh

五.验证安装

1.主节点查看进程有:
NameNode ResourceMnager SecondaryNameNode


从节点查看进程有:
DataNode NodeManager

 

 2.浏览器查看
HDFS:

http://hadoop001:50070


YARN: 

http://hadoop001:8088

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/633020.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号