(今天重开在配置ssh免密登录时遇到一个问题:cd .ssh 报错没有这个文件,解决办法是:在当前目录输入:ssh localhost)
目录
一、集群崩溃处理办法
二、历史服务器配置
三、日志聚焦功能设置
一、集群崩溃处理办法
第一步:cd /opt/module/hadoop-3.1.3/>ll>jps>sbin/stop-dfs.sh(杀死进程)>jps(102、103、104)>ll
第二步:删除data和logs(rm -rf data/ logs/) (102、103、104)
第三步:格式化:hdfs namenode -format
第四步:启动集群:sbin/start -dfs.sh >jps
二、历史服务器配置
hadoop102中、hadoop目录下:ll>cd etc/hadoop/>vim mapred-site.xml>粘贴
mapreduce.jobhistory.address hadoop102:10020 mapreduce.jobhistory.webapp.address hadoop102:19888
>xsync mapred-site.xml(纷发给103和104)>cd ..>cd ..>ll>jps>sbin/start-yarn.sh>jps(里面会多一个进程:JobHistoryServer)>hadoop fs mkdir /input>hadoop fs -put wcinput/word.txt /input >ll>hadoop jar share/hadoop/mareduce/hadoop-mapreduce-examples-3.1.3.jar wordcout /input /output
三、日志聚焦功能设置
102.hadoop文件下:cd etc/hadoop/>vim yarn-site.xml >粘贴
yarn.log-aggregation-enable true yarn.log.server.url http://hadoop102:19888/jobhistory/logs yarn.log-aggregation.retain-seconds 604800
xsync yarn-site.xml>cd /opt/module/hadoop……/>jps>mapred --daemon stop historyserver>sbin/stop-yarn.sh>sbin/start-yarn.sh>jps>mapred --daemom start historyserver>hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3 jar workcount /input /outputr
今日份学习笔记:



