Hadoop相关核心配置文件说明

前言一、core-site.xml二、hdfs-site.xml三、yarn-site.xml四、mapred-site.xml

简单整理一下Hadoop下conf目录下core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml这四个配置文件的配置说明，用作学习。

官方文档

指定NameNode的地址
hadoop3.x默认端口为8020

        fs.defaultFS
        hdfs://hadoop102:8020

指定hadoop数据的存储目录

        hadoop.tmp.dir
   		/opt/module/hadoop-3.1.3/data

配置HDFS网页登录使用的静态用户为ys

    hadoop.http.staticuser.user
    ys

NameNode web端访问地址

    dfs.namenode.http-address
    hadoop102:9870

ScondNameNode web端访问地址

    dfs.namenode.http-address
    hadoop102:9870

指定HDFS副本的数量,默认3，最大副本数默认512

    dfs.replication
    3

指定MR走shuffle过程

    yarn.nodemanager.aux-services
    mapreduce_shuffle

指定ResourceManager的地址

    yarn.resourcemanager.hostname
    hadoop103

环境变量的继承

    yarn.nodemanager.env-whitelist
    JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME

yarn容器分配的最大最小内存(默认1024和8192)

    yarn.scheduler.minimum-allocation-mb
    512


    yarn.scheduler.maximum-allocation-mb
    4096

yarn容器允许管理的物理内存大小(默认8192MB)

    yarn.nodemanager.resource.memory-mb
    4096

关闭yarn对虚拟内存的限制检查

    yarn.nodemanager.vmem-check-enabled
    false

开启日志聚集功能

    yarn.log-aggregation-enable
    true

设置日志聚集服务器地址

  
	yarn.log.server.url  
	http://hadoop102:19888/jobhistory/logs

设置日志保留时间(7天)

	yarn.log-aggregation.retain-seconds
	604800

指定MapReduce程序运行在Yarn上

    mapreduce.framework.name
    yarn

历史服务器端地址

    mapreduce.jobhistory.address
    hadoop102:10020

历史服务器web端地址

	mapreduce.jobhistory.webapp.address
	hadoop102:19888

持续更新中...

以上就是今天要讲的内容，本文仅仅简单介绍了Hadoop的四个核心配置使用，后续遇到还会更新和说明相关配置。