Hadoop3.X环境配置

基本环境配置

core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlworkers 配置历史服务器

配置历史服务器配置日志聚集启动历史服务器命令 常用端口号

    
    
        fs.defaultFS
        hdfs://hadoop102:8020
    

    
    
        hadoop.tmp.dir
        /opt/module/hadoop-3.1.3/data
    

    
    
        hadoop.http.staticuser.user
        xxyw
    

	
	
        dfs.namenode.http-address
        hadoop102:9870
    
	
    
        dfs.namenode.secondary.http-address
        hadoop104:9868
    

    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

    
    
        yarn.resourcemanager.hostname
        hadoop103
    

    
    
        yarn.nodemanager.env-whitelist
        JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
    

	
    
        mapreduce.framework.name
        yarn
    

设置分布式节点，在Hadoop2.X中文件名是slaves

hadoop102
hadoop103
hadoop104

设置3个节点的主机名即可。

在mapred-site.xml中添加如下配置信息

    mapreduce.jobhistory.address
    hadoop102:10020




    mapreduce.jobhistory.webapp.address
    hadoop102:19888

日志聚集是指应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集的好处是可以方便的查看到程序运行详情，方便开发调试。
在yarn-site.xml中添加如下配置信息

    yarn.log-aggregation-enable
    true


  
    yarn.log.server.url  
    http://hadoop102:19888/jobhistory/logs



    yarn.log-aggregation.retain-seconds
    604800

mapred --daemon start historyserver