Hadoop环境搭配(完全分布)

1.核心文件配置

①从Linux系统中获取JDK的安装路径，命令：

echo $JAVA_HOME

 ②配置hadoop-env.sh,命令：

cd /opt/module/hadoop-3.1.3/etc/hadoop/

vi hadoop-env.sh

将配置文件修改如图：

③配置core-site.xml,命令：

vi core-site.xml

在编辑版中添加如下代码：

2.HDFS文件配置

①配置 hdfs-site.xml，命令：

vi hdfs-site.xml

 

  

    dfs.namenode.name.dir
    file://${hadoop.data.dir}/name
  
 
  
  
    dfs.datanode.data.dir
    file://${hadoop.data.dir}/data
  
 
  
    
    dfs.namenode.checkpoint.dir
    file://${hadoop.data.dir}/namesecondary
  
 
  
  
    dfs.client.datanode-restart.timeout
    30
  
 
  

    dfs.namenode.http-address
    hadoop100:9870

 
  
  
    dfs.namenode.secondary.http-address
    hadoop102:9868
  

3、YARN文件配置

①配置yarn-site.xml，命令：

vi yarn-site.xml

添加如下代码：

 

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.resourcemanager.hostname
        hadoop101
    
    
        yarn.nodemanager  .env-whitelist
        JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
    

4、MapReduce文件配置

①配置mapred-site.xml，命令：

vi mapred-site.xml

 

  
    mapreduce.framework.name
    yarn
  

5、分布式集群格式化 ①格式化之前要把要把三个服务器上的hadoop安装目录下的 data目录和logs目录都删掉，命令：

cd /opt/module/hadoop-3.1.3
切换到此目录下将data和logs文件删掉，
rm -rf data
rm -rf logs

②格式化namenode，因为namenode只在Hadoop100 上运行，所以只用在100上进行格式化就可以，命令：

hdfs namenode -format

6、启动集群（单起），命令

Hadoop100：

hdfs --daemon start namenode
hdfs --daemon start datanode
yarn --daemon start nodemanager

Hadoop101：

yarn --daemon start resourcemanager
hdfs --daemon start datanode
yarn --daemon start nodemanager

Hadoop102：

hdfs --daemon start datanode
hdfs --daemon start secondarynamenode
yarn --daemon start nodemanager

 

（群起），命令

Hadoop100：

start-all.sh

Hadoop101：

start-yarn.sh

启动之后用jps查看是否启动成功，否则则去检查配置文件是否出现错误