hadoop在浏览器端口查看日志

hadoop在浏览器端口查看日志，需要开启historyserver服务，其默认关闭，是一个独立的服务，网页查看端口号默认：19888，可在yarn-site.xml中配置，配置完后将配置文件复制到其他节点上。

mapred-site.xml

  
    	mapreduce.jobhistory.address
    	newmaster:10020
    
    
    	mapreduce.jobhistory.webapp.address
    	newmaster:19888
    

yarn-site.xml

	
	    yarn.log.server.url
	    http://Bigdata00:19888/jobhistory/logs
	

 log collection配置

将每个Nodemanager上的任务日志统一收集到HDFS上,因为通常日志都是分散在不同的nodemanager节点上，不方便统一管理与问题排查。yarn-site.xml

 

     yarn.log-aggregation-enable
     true


     yarn.log.server.url
     http://shufang102:19888/jobhistory/logs


     yarn.log-aggregation.retain-seconds
     604800

 配置后在hadoop根目录下的sbin目录下，执行命令：mr-jobhistory-daemon.sh start historyserver，然后通过jps查看是否成功

 如果报错打开logs时报错，Could not load history file hdfs://master:8020/tmp/hadoop-yarn/staging/history/done_intermediate/root/job_1651762944196_0005-1651765932967-root-max_minTemperature-1651765951623-1-1-SUCCEEDED-default-1651765938549.jhist

/tmp/logs 目录权限问题
修改权限为777 即可