栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

centos7安装完全分布式hadoop3.2

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

centos7安装完全分布式hadoop3.2

废话不多说,先准备三台centos7,然后开始安装

第一步。配置主机名

编辑/etc/hostname分别给三台虚拟机命名,我写的是master,slave1,slave2,接着重启虚拟机,使名称生效。

第二步。配置免密登录

首先,关闭防火墙:

systemctl stop firewalld

永久关闭:

systmctl disable firewalld

然后,在三台虚拟机上都配置/etc/hosts文件,在最后加入

192.168.196.128 master
192.168.196.129 slave1
192.168.196.130 slave2

然后分别在三台虚拟机上,使用ssh-keygen -t rsa命令生成ssh密钥
在maste主机r执行命令

cd /root/.ssh
cp id_rsa.pub authorized_keys

然后分别 在slave1 ,slave2上执行命令 cat /root/.ssh/id_rsa.pub
并分别将 id_rsa.pub 内容复制粘贴到master的 authorized_keys上,保存退出

接着使用scp命令,将文件传输到其余两台虚拟机的.ssh目录下。

scp authorized_keys slave1:/root/.ssh
scp authorized_keys slave2:/root/.ssh

接着就可以试试使用ssh登录其他机器了

第三步。配置jdk与hadoop环境变量
分别在三台机器上创建software文件夹,上传jdk1.8,hadoop3.2的压缩包到software文件夹,解压缩jdk与hadoop

编辑环境变量
执行命令 vim /etc/profile
在最后追加环境变量
J

AVA_HOME=/software/jdk1.8
HADOOP_HOME=/software/hadoop3.2

export PATH=$PATH:${JAVA_HOME}/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

第四步。配置hadoop

建立存储文件夹。

mkdir /usr/local/hadoop
mkdir /usr/local/hadoop/data
mkdir /usr/local/hadoop/data/tmp
mkdir /usr/local/hadoop/dfs
mkdir /usr/local/hadoop/dfs/data
mkdir /usr/local/hadoop/dfs/name
mkdir /usr/local/hadoop/tmp

执行命令 cd /software/hadoop3.2/etc/hadoop

然后执行命令 vi hadoop-env.sh
修改这一行 export JAVA_HOME=/software/jdk1.8 #这里修改为jdk的JAVA_HOME路径

vi core-site.xml


    
        hadoop.tmp.dir
        /usr/local/hadoop/tmp
    
    
        fs.defaultFS
        hdfs://master:9000
    

vi hdfs-site.xml


    
        dfs.namenode.http-address
        master:50070
    
    
        dfs.namenode.name.dir
        /usr/local/hadoop/dfs/name
     
     
         dfs.datanode.data.dir
         /usr/local/hadoop/dfs/data
     
     
        dfs.replication
        2
    

vi yarn-site.xml


    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.resourcemanager.webapp.address
        master:8088
    
    
        yarn.resourcemanager.hostname
        master



vi mapred-site.xml


    
        mapreduce.framework.name
        yarn
    

vi workers 删除localhost改成

 slave1 
 slave2

分别先后执行 如下命令
vi /software/hadoop3.2/sbin/start-yarn.sh
加入如下

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

然后 vi /software/hadoop3.2/sbin/stop-yarn.sh
加入

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

vi /software/hadoop3.2/sbin/start-dfs.sh
加入

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

接着 vi /software/hadoop3.2/sbin/stop-dfs.sh
加入一下几行(在开头添加下面几行)

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

然后通过scp命令将hadoop3.2发送到其他slave上

scp -r /software/hadoop3.2  root@slave1:/software/
scp -r /software/hadoop3.2 root@slave2:/software/

第五步,启动
进入bin目录格式化namenode

cd  /software/hadoop3.2/bin

执行命令 hadoop namenode -formatt

启动hadoop

cd  /software/hadoop3.2/sbin

执行命令

./start-all.sh

192.168.196.128:50070、192.168.196.128:8088查看是否正常运行

执行jps命令,如果master上有
1818 NameNode
2314 ResourceManager
2078 SecondaryNameNode
而slave上有
1818 NameNode
2314 ResourceManager
说明启动成功

参考文章
https://blog.csdn.net/qq_40421109/article/details/103563455

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/458497.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号