栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

hadoop启动集群之后没有namenode的一种情况

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

hadoop启动集群之后没有namenode的一种情况

先说结论吧,一般在网上搜索这个问题都是让重新格式化namenode(当然,格式化之前要记得清空namenode和DataNode文件夹)。但是对于我之前遇到的问题却没法解决。我的做法是:检查你的hadoop的配置文件是否填写正确,我的hadoop的hdfs-site.xml中的主机IP地址未填写正确,导致启动集群服务后namenode启动不上,hdfs当然也没法用。

 

我的虚拟机会产生这个问题主要是虚拟机的IP地址发生了改变,在这里我简单记录一下发生这种问题怎么处理,也方便我日后参阅。

1.首先查明每台虚拟机的IP地址,修改 etc/hosts文件。

2.保证每台虚拟机能互ping,ssh免密码登录可以使用。

3.修改hadoop文件夹中 etc/hadoop中的core-site.xml、hdfs-site.xml、和zookeeper文件夹(如果安装了zookeeper的话)中的zoo.cfg 文件

4.格式化节点(hadoop-2.9.2/bin/hdfs namenode -format),如果所有虚拟机的IP地址都发生了改变,那么就都要格式化,格式化之前要记得清空namenode和DataNode文件夹,并修改namenode和DataNode文件夹的权限(chmod 777 namenode)

5.最后再启动集群 hadoop-2.9.2/sbin/start-all.sh,以后关闭集群最好使用stop-all.sh

6.先试试用命令上传文件到hdfs是否成功(hadoop-2.9.2/bin/hdfs dfs -put student.txt /tmp/),然后再试着用浏览器访问虚拟机50070端口,如果都能调试成功再试着用java或者python等脚本操作hdfs。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/932560.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号