栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop集群测试时,HDFS可视化的网页没有或少一个Node信息

Hadoop集群测试时,HDFS可视化的网页没有或少一个Node信息

NameNode HTTP UI界面中没有或少一个Node信息问题解决:

这里没有node信息 ,第一步查看一下三个主机的hadoop家目录下data中有没有dfs目录

我的错误原因是其中一台主机上没有dfs目录(我把每一个主机上的data、logs都删了,然后格式化了HDFS,所以data下的dfs就没了)

解决方法:把hadoop集群关闭(或者按照顺序关闭hdfs、yarn....)然后在缺少dfs的主机上执行群起hadoop集群的命令,就出现了dfs,网页上再刷新一下,结点信息就有了。

如果一个node信息都没有的话,文件都传不上(hadoop fs -moveFromLocal......)例如把本地文件剪切上传不成功。

 其他人的方法

1、 可能是网络问题,查看三个主机能不能ping通(不通的话就是虚拟网络的问题,找到了问题方向)

2、主机映射问题 cat /etc/hosts (一般到这一步的话主机映射问题应该不会有问题)

 

3.ssh登录问题(后面涉及分发脚本,主机之间传输文件,所以每次都输密码很麻烦所以要设置ssh免密登录)

三台主机都是同一级别的用户,都是root用户或者xxx(自己取的名字)用户,不能Hadoop102主机是xxx用户,其他主机用root用户,重新登录用户,用统一的用户登录,然后再重新设置免密登录

尚硅谷视频免密登录设置方法: 1)生成公钥和私钥 [atguigu@hadoop102 .ssh]$ pwd /home/atguigu/.ssh [atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa 然后敲(三个回车),就会生成两个文件 id_rsa (私钥)、 id_rsa.pub (公钥) ( 2)将公钥拷贝到要免密登录的目标机器上 [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102 [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103 [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop104 注意: 还需要在 hadoop103 上采用 atguigu 账号配置一下无密登录到 hadoop102 、 hadoop103 、 hadoop104 服务器上。 还需要在 hadoop104 上采用 atguigu 账号配置一下无密登录到 hadoop102 、 hadoop103 、 hadoop104 服务器上。 还需要在 hadoop102 上采用 root 账号,配置一下无密登录到 hadoop102 、 hadoop103 、 hadoop104 ;

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/775462.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号