Ubuntu16.04 配置 hadoop-3.3.1 分布式模式

1.安装vim
2.安装jdk-8u211-linux-x64.tar.gz
3.安装配置ssh
4.安装配置hadoop-3.3.1

环境：
第一台虚拟机：
IP地址：192.168.157.130
机器名：Master

第二台虚拟机：
IP地址：192.168.157.131
机器名：Slave1

两台Ubuntu 都要配置好JAVA环境，ssh
hadoop方面：在Master中配置hadoop文件，然后将Master中配置好的hadoop文件复制一份到Slave1中，之后再Master中格式化名称节点以及运行start-dfs.sh，Slave1中不需要格式化名称节点以及手动start-dfs.sh

两台虚拟Ubuntu中 /etc/hosts 文件添加配置如下：

192.168.157.130 Master
192.168.157.131 Slave1

一、安装vim

sudo apt install vim

二、安装jdk-8u211-linux-x64.tar.gz

下载地址：jdk-8u211-linux-x64.tar.gz
提取码：6r5f

1.解压

sudo tar -zxf /home/hadoop/桌面/jdk-8u211-linux-x64.tar.gz -C /usr/lib/jvm
cd /usr/lib/jvm
sudo mv jdk1.8.0_211/ java

2.用户.bashrc文件添加代码如下：

export PATH=$PATH:/usr/lib/jvm/java/bin

3.查看java 版本

三、安装配置ssh 1.下载

sudo apt install ssh 

2.配置ssh并连接Slave1：

ssh-keygen -t rsa

ssh-copy-id Slave1

3.免密码登录Ubuntu Slave1：

ssh Slave1

4.第二台虚拟Ubuntu Slave1 免密码登录第一台虚拟Ubuntu Master：

ssh-keygen -t rsa
ssh-copy-id Master
ssh Master

登录出现问题 可以尝试：

ssh-keygen -R Slave1
ssh-keygen -R Master
eval "ssh-agent -s"
ssh-add

5.ssh本地免密码登录

ssh-copy-id localhost
ssh localhost

四、安装hadoop 1.下载解压

下载地址：
官网文件hadoop-3.3.1

2.统一解压到/usr/local/ 并重命名

sudo tar -zxf /home/hadoop/桌面/hadoop-3.3.1.tar.gz -C /usr/local/

cd /usr/local
sudo mv hadoop-3.3.1/ hadoop

3.修改Hadoop文件夹权限

（ 赋予最高权限 个人喜好）

sudo chmod -R 777 hadoop

4.更新用户.bashrc文件内容

添加hadoop bin与sbin路径
添加JAVA_HOME 路径

export PATH=$PATH:/usr/lib/jvm/java/bin:/usr/local/hadoop/sbin:/usr/local/hadoop/bin:/usr/local/hadoop/etc/hadoop/

export JAVA_HOME=/usr/lib/jvm/java

重新加载.bashrc

source  ~/.bashrc

5.运行hadoop

hadoop

五、配置hadoop分布式 1.Ubuntu Master配置分布式环境 1）修改位于/usr/local/hadoop/etc/hadoop下的文件workers

cd /usr/local/hadoop/etc/hadoop/

sudo vim workers

将localhost改成Slave1

2）修改core-site.xml

sudo vim core-site.xml

   
        hadoop.tmp.dir
        file:/usr/local/hadoop/tmp
        Abase for other temporary directories.
   

   
        fs.defaultFS
        hdfs://Master:9000
   

3)修改hdfs-site.xml

sudo vim hdfs-site.xml

       
                dfs.namenode.secondary.http-address
               Master:50090
       

       
             dfs.namenode.name.dir
             file:/usr/local/hadoop/tmp/dfs/name
       

       
              dfs.datanode.data.dir
              file:/usr/local/hadoop/tmp/dfs/data
       

       
               dfs.replication
               1
       

4)修改mapred-site.xml

配置mapred-site.xml，如果没有就拷贝mapred-site.xml.template然后重命名为mapred-site.xml

sudo vim mapred-site.xml

    
        mapreduce.framework.name
        yarn
    
    
        mapreduce.jobhistory.address
        Master:10020
    
    
        mapreduce.jobhistory.webapp.address
        Master:19888
    

        
        yarn.app.mapreduce.am.env
        HADOOP_MAPRED_HOME=/usr/local/hadoop
    

    
        mapreduce.map.env
        HADOOP_MAPRED_HOME=/usr/local/hadoop
    

    
        mapreduce.reduce.env
        HADOOP_MAPRED_HOME=/usr/local/hadoop
    

5)修改yarn-site.xml

sudo vim yarn-site.xml

    
               yarn.nodemanager.aux-services
               mapreduce_shuffle
    
    
        yarn.resourcemanager.hostname
        Master
    

2.将Master配置好的/usr/local/hadoop文件夹复制到第二台虚拟Ubuntu Slave1 上

如果先前配置过伪分布式环境 则要删除先前生成的临时文件

（删除伪分布式生成的文件 如果配置过伪分布环境）
cd /usr/local
sudo rm -r ./hadoop/tmp
sudo rm -r ./hadoop/logs/*

（打包hadoop发送给Slave1）
cd /usr/local
tar -zcf ~/hadoop.master.tar.gz ./hadoop
scp ~/hadoop.master.tar.gz Slave1:/home/hadoop

然后在Slave1虚拟机中执行命令：

sudo rm -r /usr/local/hadoop
（删除原有hadoop文件 如果存在）

sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
（解压 hadoop.master.tar.gz 到/usr/local）

sudo chmod -R 777 /usr/local/hadoop
（赋予最高权限）

3.格式化名称节点

在Master中执行
hdfs namenode -format

4.Slave1配置JAVA_HOME

sudo vim ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/java

5.Master启动hadoop

start-dfs.sh

start-yarn.sh

mr-jobhistory-daemon.sh start historyserver

jps

在Slave1中有：
jps

浏览器访问地址 Master:9870 查看当前服务状态