栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop入门问题

Hadoop入门问题

@[TOC]hadoop

Hadoop入门问题

1、启动HDFS时Cannot set priority of xxxx process 问题
1)重启hadoop102(reboot)
2)删除 data和logs文件夹
rm -rf /opt/module/hadoop-3.1.3/data /opt/module/hadoop-3.1.3/logs
3)删除tmp文件夹
sudo rm -rf /tmp/*
4)重新初始化
hdfs namenode -format
2、集群异常(datanode/namenode没有等)
1)停进程(Hadoop102)
sbin/stop-dfs.sh
2)删除 data和logs文件夹(hadoop102/hadoop103/hadoop104)
rm -rf /opt/module/hadoop-3.1.3/data /opt/module/hadoop-3.1.3/logs
3)开始格式化
hdfs namenode -format
4)启动集群
sbin/start-dfs.sh
3、 集群启动/停止方式总结
1)各个模块分开启动/停止(配置 ssh 是前提)常用
(1)整体启动/停止 HDFS
start-dfs.sh/stop-dfs.sh
(2)整体启动/停止 YARN
start-yarn.sh/stop-yarn.sh
2)各个服务组件逐一启动/停止
(1)分别启动/停止 HDFS 组件
hdfs --daemon start/stop namenode/datanode/secondarynamenode
(2)启动/停止 YARN
yarn --daemon start/stop resourcemanager/nodemanager
4、常用端口号(常见面试题)

5、常用配置文件(常见面试题)
3.x core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml workers
2.x core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml slaves

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/735751.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号