Hadoop集群配置

注意：NameNode和SecondaryNameNode不要安装在同一台服务器

（2NN备份元数据的，如果放在一台机器上，机器宕机元数据就拿不到）

注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

	hadoop100	hadoop101	hadoop102
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

1.核心配置文件配置：hadoop-env.sh（在/opt/module/hadoop-3.1.3/etc/hadoop目录下）Linux系统中获取JDK的安装路径：

 

---

 2. 在hadoop-env.sh文件中修改JAVA_HOME 路径：

---

3.配置core-site.xml     hdfs-site.xml      yarn-site.xml

 core-site.xml 的配置文件内容：

    

        fs.defaultFS

        hdfs://hadoop100:9820

    

        hadoop.data.dir

        /opt/module/hadoop-3.1.3/data

    

配置hdfs-site.xml文件内容如下：

  

    dfs.namenode.name.dir

    file://${hadoop.data.dir}/name

  

  

  

    dfs.datanode.data.dir

    file://${hadoop.data.dir}/data

  

  

    

    dfs.namenode.checkpoint.dir

    file://${hadoop.data.dir}/namesecondary

  

  

  

    dfs.client.datanode-restart.timeout

    30

  

  

    dfs.namenode.http-address

    hadoop100:9870

  

  

    dfs.namenode.secondary.http-address

    hadoop102:9868

  

配置yarn-site.xml文件内容如下：

    

        yarn.nodemanager.aux-services

        mapreduce_shuffle

    

    

        yarn.resourcemanager.hostname

        hadoop101

    

    

        yarn.nodemanager.env-whitelist

        JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME

    

（4）MapReduce配置文件

配置mapred-site.xml

vim mapred-site.xml

文件内容如下：

  

    mapreduce.framework.name

    yarn