Hadoop配置文件详解

Hadoop配置文件详解概述 Hadoop默认配置文件

配置文件	描述	位置
core-default.xml	默认的核心hadoop属性文件	位于：Hadoop-common-2.10.1.jar
hdfs-default.xml	默认的HDFS属性配置文件	位于：hadoop-hdfs-2.10.1.jar
mapred-default.xml	默认mapreduce属性配置文件	位于：mapreduce-client-core-2.10.1.jar
yarn-default.xml	默认的YARN属性配置文件	位于：yarn-common-2.10.1.jar

Hadoop自定义配置文件

存放在$HADOOP_HOME/etc/hadoop这个路径里，用户可以根据项目需求重新进行修改配置

配置文件	功能描述
hadoop-env.sh	配置 Hadoop 运行所需的环境变量
core-site.xml	Hadoop 核心全局配置文件，可在其他配置文件中引用该文件
hdfs-site.xml	HDFS 配置文件，继承 core-site.xml 配置文件
mapred-site.xml	MapReduce 配置文件，继承 core-site.xml 配置文件
yarn-site.xml	YARN 配置文件，继承 core-site.xml 配置文件

当然还有slaves文件，记录集群的主机名。

hadoop-env.sh

文件中设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的，即使我们当前的系统中设置了JAVA_HOME，它也是不认识的，因为Hadoop即使是在本机上执行，它也是把当前的执行环境当成远程服务器。

# 修改前
# The java implementation to use.
export JAVA_HOME=${JAVA_HOME}

# 修改后
# The java implementation to use.
export JAVA_HOME=/app/java/jdk1.8.0_181

core-site.xml

核心全局配置文件




    
    
        fs.defaultFS
        hdfs://node1:9000
    

    
    
       hadoop.tmp.dir
       file:/app/hadoop-2.10.1/tmp
    

    
    
       io.file.buffer.size
       131072
    

    
    
       fs.trash.interval
       10080

hdfs-sit.xml

Hadoop的底层存储配置文件，主要配置HDFS相关参数




    	
        
                dfs.namenode.name.dir
                file:/app/hadoop-2.10.1/dfs/name
        
		
        
                dfs.datanode.data.dir
                file:/app/hadoop-2.10.1/dfs/data
        
		
        
                dfs.replication
                3
        
    	
		
			dfs.blocksize
			134217728
		
    	
        
                dfs.http.address
                node1:50070
        
    	
        
                dfs.namenode.secondary.http-address
                node2:50071
        
    	
		
			dfs.permissions
			false
		
    	
		
			dfs.hosts
			/app/hadoop-2.10.1/etc/hadoop/slaves

mapred-site.xml

Hadoop默认只有个模板文件mapred-site.xml.template,需要使用该文件复制出来一份mapred-site.xml文件

yarn 的 web 地址和 history 的 web 地址以及指定我们的 mapreduce 运行在 yarn 集群上




    	
        
                mapreduce.framework.name
                yarn
        
		
		
			mapreduce.job.ubertask.enable
			true
		
		
		
			mapreduce.jobhistory.address
			node1:10020
		
		
		
			mapreduce.jobhistory.webapp.address
			node1:19888

yarn-site.xml




    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
    
        yarn.resourcemanager.hostname
        node1
    
    
	
        
          The http address of the RM web application.
          If only a host is provided as the value,
          the webapp will be served on a random port.
        
        yarn.resourcemanager.webapp.address
        ${yarn.resourcemanager.hostname}:8088
	
	
        
          The https address of the RM web application.
          If only a host is provided as the value,
          the webapp will be served on a random port.
        
        yarn.resourcemanager.webapp.https.address
        ${yarn.resourcemanager.hostname}:8090
	
    
	
		yarn.log-aggregation-enable
		true
	
	
	
		yarn.log-aggregation.retain-seconds
		604800

slaves

slaves文件里面记录的是集群主机名。一般有以下两种作用：

配合一键启动脚本如start-dfs.sh、stop-yarn.sh用来进行集群启动。这时候slaves文件里面的主机标记的就是从节点角色所在的机器。
配合hdfs-site.xml里面dfs.hosts属性形成一种白名单机制。

dfs.hosts指定一个文件，其中包含允许连接到NameNode的主机列表。必须指定文件的完整路径名,那么所有在slaves中的主机才可以加入的集群中。如果值为空，则允许所有主机。

cd /app/hadoop-2.10.1/etc/hadoop
vi slaves
# 删除slaves中的localhost，然后添加以下内容
node1
node2
node3

Hadoop配置文件详解

Java相关栏目本月热门文章