Hadoop环境搭建（完全分布式搭建）

1、核心文件配置

（1）、①从Linux中获取JDK的安装路径

命令：echo $JAVA_HOME

 （2）、配置hadoop-env.sh

命令：cd /opt/module/hadoop-3.1.3/etc/hadoop/

 vi hadoop-env.sh

（3）、配置core-site.xml

命令：vi core-site.xml

在面板中添加如下内容：

 

   
        fs.defaultFS
        hdfs://hadoop100:9820

 

   
        hadoop.data.dir
        /opt/module/hadoop-3.1.3/data
   

 2、hdfs文件配置

（1）配置hdfs-site.xml

命令：vi hdfs-site.xml

 

 

    dfs.namenode.name.dir
    file://${hadoop.data.dir}/name
 
 
 
 
    dfs.datanode.data.dir
    file://${hadoop.data.dir}/data
 
 
 
   
    dfs.namenode.checkpoint.dir
    file://${hadoop.data.dir}/namesecondary
 
 
 
 
    dfs.client.datanode-restart.timeout
    30
 
 
 

    dfs.namenode.http-address
    hadoop100:9870

 
 
 
    dfs.namenode.secondary.http-address
    hadoop102:9868
 

（3）、YARN文件配置

命令：vi yarn-site.xml

 

 

   
        yarn.nodemanager.aux-services
        mapreduce_shuffle
   
   
        yarn.resourcemanager.hostname
        hadoop101
   
   
        yarn.nodemanager  .env-whitelist
        JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
   

(4)、MapReduce文件配置

（1）、配置mapred-site.xml

命令：vi mapred-site.xml

 

 

 
    mapreduce.framework.name
    yarn
 

       到这里就完成了基本的配置，接下来去克隆虚拟机，因为我们是先配置集群，再克隆的虚拟机，所以我们克隆出来的Hadoop101、Hadoop102、都拥有这些配置，不用在进行集群分发，需要用的时候直接启动就OK

5、分布式集群格式化

（2）、格式化之前要把要把三个服务器上的hadoop安装目录下的 data目录和logs目录都删掉

命令：

cd /opt/module/hadoop-3.1.3
切换到此目录下将data和logs文件删掉，
rm -rf data
rm -rf logs

（2）、格式化namenode，因为namenode只在Hadoop100 上运行，所以只用在100上进行格式化就可以

命令： hdfs namenode -format

 6、

启动集群（单起）

Hadoop100：

hdfs --daemon start namenode
hdfs --daemon start datanode
yarn --daemon start nodemanager

Hadoop101：

yarn --daemon start resourcemanager
hdfs --daemon start datanode
yarn --daemon start nodemanager

Hadoop102：

hdfs --daemon start datanode
hdfs --daemon start secondarynamenode
yarn --daemon start nodemanager

群起命令

Hadoop100：start-all.sh

Hadoop101：start-yarn.sh