栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 系统运维 > 运维 > Linux

Hadoop从入门到入土(第六天)

Linux 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Hadoop从入门到入土(第六天)

(今天重开在配置ssh免密登录时遇到一个问题:cd .ssh 报错没有这个文件,解决办法是:在当前目录输入:ssh localhost)


目录

一、集群崩溃处理办法

二、历史服务器配置

三、日志聚焦功能设置


一、集群崩溃处理办法

第一步:cd /opt/module/hadoop-3.1.3/>ll>jps>sbin/stop-dfs.sh(杀死进程)>jps(102、103、104)>ll

第二步:删除data和logs(rm -rf data/ logs/) (102、103、104)

第三步:格式化:hdfs namenode -format

第四步:启动集群:sbin/start -dfs.sh >jps

二、历史服务器配置

hadoop102中、hadoop目录下:ll>cd etc/hadoop/>vim mapred-site.xml>粘贴



 mapreduce.jobhistory.address
 hadoop102:10020



 mapreduce.jobhistory.webapp.address
 hadoop102:19888

>xsync mapred-site.xml(纷发给103和104)>cd ..>cd ..>ll>jps>sbin/start-yarn.sh>jps(里面会多一个进程:JobHistoryServer)>hadoop fs mkdir /input>hadoop fs -put wcinput/word.txt /input >ll>hadoop jar share/hadoop/mareduce/hadoop-mapreduce-examples-3.1.3.jar wordcout /input /output

三、日志聚焦功能设置

102.hadoop文件下:cd etc/hadoop/>vim yarn-site.xml >粘贴



 yarn.log-aggregation-enable
 true


 
 yarn.log.server.url 
 http://hadoop102:19888/jobhistory/logs



 yarn.log-aggregation.retain-seconds
 604800

xsync yarn-site.xml>cd /opt/module/hadoop……/>jps>mapred --daemon stop historyserver>sbin/stop-yarn.sh>sbin/start-yarn.sh>jps>mapred --daemom start historyserver>hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3 jar workcount /input /outputr

今日份学习笔记:

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/867522.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号