cd $HADOOP_HOME/etc/hadoop
vim core-site.xml添加内容
配置 hdfs-site.xmlfs.defaultFS hdfs://hadoop102:8020 hadoop.tmp.dir /opt/module/hadoop-3.1.3/data hadoop.http.staticuser.user atguigu
vim hdfs-site.xml添加内容
配置 yarn-site.xmldfs.namenode.http-address hadoop102:9870 dfs.namenode.secondary.http-address hadoop104:9868
vim yarn-site.xml
配置 mapred-site.xmlyarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname hadoop103 yarn.nodemanager.env-whitelist JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP RED_HOME
vim mapred-site.xml
在集群上分发配置好的 Hadoop 配置文件mapreduce.framework.name yarn
xsync /opt/module/hadoop-3.1.3/etc/hadoop/配置 workers
vim workers
hadoop102 hadoop103 hadoop104
同步所有节点配置文件注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。
xsync /opt/module/hadoop-3.1.3/etc启动集群
如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode，在hadoop-3.1.3文件下运行
hdfs namenode -format启动 HDFS
sbin/start-dfs.sh在配置了 ResourceManager 的节点（hadoop103）启动 YARN
sbin/start-yarn.shWeb 端查看 HDFS 的 NameNode
浏览器中输入：http://hadoop102:9870
Web 端查看 YARN 的 ResourceManager浏览器中输入：http://hadoop103:8088
配置历史服务器vim mapred-site.xml
分发配置mapreduce.jobhistory.address hadoop102:10020 mapreduce.jobhistory.webapp.address hadoop102:19888
xsync mapred-site.xml在 hadoop102 启动历史服务器
mapred --daemon start historyserver查看 JobHistory
http://hadoop102:19888/jobhistory
配置日志的聚集配置 yarn-site.xml开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和
HistoryServer。
vim yarn-site.xml
分发配置yarn.log-aggregation-enable true yarn.log.server.url http://hadoop102:19888/jobhistory/logs yarn.log-aggregation.retain-seconds 604800
xsync yarn-site.xml关闭 NodeManager 、ResourceManager 和 HistoryServer
sbin/stop-yarn.sh
mapred --daemon stop historyserver启动 NodeManager 、ResourceManage 和 HistoryServer
start-yarn.sh
mapred --daemon start historyserver删除 HDFS 上已经存在的输出文件
hadoop fs -rm -r /output执行 WordCount 程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output查看日志
http://hadoop102:19888/jobhistory
参考尚硅谷教程
