Hadoop【第十课】：完全分布式安装Hadoop

---

VMware workstation
CentOS 7
完全分布式安装
author：zoxiii

---

完全分布式安装

1、安装JDK

（1）下载JDK（2）传输JDK到虚拟机中（3）删除虚拟机原有的JDK（4）安装配置JDK 2、安装Hadoop

（1）下载Hadoop（2）将Hadoop传输到虚拟机中（3）Hadoop解压缩：查看有哪些配置文件 3、修改配置文件

（1）为Hadoop配置JDK的路径（2）配置HDFS系统（3）配置完全分布式（4）配置Hadoop的mapreduce运行在yarn上（5）配置yarn

前提有两个(或两个以上)配置好网络的虚拟机，这里用到两个master和slave

1、安装JDK

分别对两个虚拟机都操作，可参考我的另一篇博客完整步骤：虚拟机安装JDK

（1）下载JDK

使用版本：jdk-8u221-linux-x64.tar.gz

（2）传输JDK到虚拟机中

使用XShell传输

（3）删除虚拟机原有的JDK

# java -version                // 查看自带的Java版本
# rpm -qa |  grep java         // 检查centOS本身的java安装包名称
# rpm -e --nodeps 包的名称      // 删除文件(多个包用空格隔开)
# java -version                // 再检查Java版本应该为空

rpm -e --nodeps tzdata-java-2017b-1.el7.noarch python-javapackages-3.4.1-11.el7.noarch java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64 java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64 javapackages-tools-3.4.1-11.el7.noarch

（4）安装配置JDK

# mkdir /usr/local/java        // 为java创建一个文件夹       
# tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/java    // 解压JDK到/usr/local/文件夹中

# vi /etc/profile              // 打开配置文件,配置环境变量

在文件中将环境变量修改为JDK所在的目录

export JAVA_HOME=/usr/local/java/jdk1.8.0_221
PATH=$PATH:$JAVA_HOME/bin

# source /etc/profile          // 重启配置文件
# java -version                // 检查Java的版本是否已经更新

2、安装Hadoop （1）下载Hadoop

使用版本：hadoop-2.7.7.tar.gz

（2）将Hadoop传输到虚拟机中

使用XShell传输

（3）Hadoop解压缩：查看有哪些配置文件

# mkdir /usr/local/src/hadoop     // 首先为Hadoop新建一个文件夹
# tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local/src/hadoop   // 将Hadoop解压到该文件夹中

# cd /usr/local/src/hadoop/hadoop-2.7.7/etc/hadoop/      // 进入到配置文件所在文件夹目录下
# ls       // 查看该目录下的文件

---

3、修改配置文件 （1）为Hadoop配置JDK的路径

# vi hadoop-env.sh

修改内容为：

export JAVA_HOME=/usr/local/java/jdk1.8.0_221

（2）配置HDFS系统

# vi core-site.xml

添加如下内容：

    
        fs.defaultFS
        hdfs://localhost:9000
    
    
        hadoop.tmp.dir
        /usr/local/src/hadoop/hadoop-2.7.7/tmp
    

（3）配置完全分布式 （4）配置Hadoop的mapreduce运行在yarn上

①先修改文件名

# mv mapred-site.xml.template mapred-site.xml

# vi mapred-site.xml 

添加如下内容：

    
        mapreduce.framework.name
        yarn
    

（5）配置yarn

# vi yarn-site.xml

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.nodemanager.hostname
        localhost
    

参考：
[1] Hadoop集群设置
[2] 从零开始学hadoop大数据分析