栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop完全分布式集群搭建教程(二)

Hadoop完全分布式集群搭建教程(二)

jdk8下载地址:
链接:https://pan.baidu.com/s/1_IjQ_U36HDe6ig4fVe3hUA
提取码:qwer
------------------------------------------------------------------------------------------
Hadoop2.7.7版本下载地址:
https://pan.baidu.com/s/1fwsX85p1Qi1rfdBvR3af3g
提取码:qwer

一、配置免密登录
  1. 每个节点生成ssh密钥
    #每个节点生成ssh密钥
    ssh-keygen -t rsa
    
    输入后一直回车即可
    生成完成后,进入根目录下的ssh文件夹下
    cd ~/.ssh
    

  1. 将主节点上公钥拷到一个特定的文件anthorized_keys中**

    cp id_rsa.pub authorized_keys
    
  2. 将anthorized_keys文件拷贝到下一个节点,并将该节点的ssh密钥id_rsa.pub加入到文件夹中

    scp anthorized_key root@hadoop2://root/.ssh/
    #进入Hadoop2虚拟机
    cd ~/.ssh
    #在第二个节点上利用cat追加方式
    cat id_rsa.pub>>anthorized_key
    

    如下图所示:
    hadoop2:
    依次将进行操作,到hadoop04后将authorized_keys文件复制给前三台文件
    hadoop4

  3. 登录验证

#登录验证 ssh 主机名称
ssh hadoop1
#退出
exit

二、配置java与hadoop环境变量
  1. 压缩包放置与解压

这里我把压缩包利用Xftp放置在opt文件夹下并解压

#进入opt文件夹下
cd  /opt
#解压文件
tar -zxvf jdk-8u101-linux-x64.tar.gz 
tar -zxvf hadoop-2.7.7.tar.gz
  1. 配置环境变量
#修改profile文件
vi  /etc/profile
#在结尾处添加
# Java
export JAVA_HOME=/opt/jdk1.8.0_161    #该路径为java安装路径
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
#Hadoop
export HADOOP_HOME=/opt/hadoop-2.7.7# 该目录为解压安装目录
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop


#保存文件后刷新
[root@hadoop1 opt]source /etc/profile   #使配置文件生效

注意手打的话不要敲错,以免后面启动Hadoop时候报错

  1. 检查安装状态
 java -version  #正常会显示版本号信息
 hadoop version  #正常会显示版本号信息

如果报错,请检查环境配置,并是否刷新profile文件

  1. 将配置好的文件拷贝到其他从节点
#对hadoop2、3、4进行拷贝
#将配置好的java和hadoop文件夹拷贝到其他从节点
#java
scp -r /opt/jdk1.8.0_161 root@hadoop2:/opt/   
scp -r /opt/jdk1.8.0_161 root@hadoop2:/opt/   
scp -r /opt/jdk1.8.0_161 root@hadoop2:/opt/   

#hadoop
scp -r /opt/hadoop-2.7.7 root@hadoop2:/opt/  

#拷贝环境变量到Hadoop2、3、4中
scp -r /etc/profile root@hadoop2:/etc/profile
scp -r /etc/profile root@hadoop3:/etc/profile
scp -r /etc/profile root@hadoop4:/etc/profile

在其他节点分别刷新profile文件
[root@hadoop2 ~]source /etc/profile
[root@hadoop3 ~]source /etc/profile
[root@hadoop4 ~]source /etc/profile

Hadoop完全分布式集群搭建教程(一)
Hadoop完全分布式集群搭建教程(二)
Hadoop完全分布式集群搭建教程(三)

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/584254.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号