栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

启动hadoop小技巧

启动hadoop小技巧

搭建hadoop伪分布

1. 格式化Hadoop文件系统

$ hdfs namenode -format
执行以上命令后,输出若看到“Exiting with status 0”为格式化成功,否者可能哪个步骤出错,请再检查前面的设置。

注意:格式化只需要进行一次,以后启动hadoop前不需要再次格式化。
如果多次格式化点击此处

2. 启动Hadoop 2.1启动HDFS
$ start-dfs.sh

jps查看进程,能看到除了jps之外有三个进程出现,分别是:NameNode、DataNode、SecondaryNameNode

如果少了某个进程,解决思路是:进入Hadoop的logs目录下查看相应的log,

$ cd $HADOOP_HOME/logs
$ ls
hadoop-hadoop-datanode-node1.log  hadoop-hadoop-secondarynamenode-node1.log
hadoop-hadoop-datanode-node1.out  hadoop-hadoop-secondarynamenode-node1.out
hadoop-hadoop-namenode-node1.log  SecurityAuth-hadoop.audit
hadoop-hadoop-namenode-node1.out

例如:没有NameNode进程,需要用cat命令 查看namenode相关的.log的文件,即:hadoop-hadoop-namenode-node1.log,

$ cat hadoop-hadoop-namenode-node1.log

执行以上命令后,找到error、exception、warn等包含错误的关键信息,得到错误原因,进而对症解决。

2.2启动YARN
$ start-yarn.sh

jps查看进程,多出有2个进程出现,分别是:ResourceManager、NodeManager

如果少了其中任意一个进程,解决思路也是查看相应的log,找到问题原因,进而解决。

2.3.查看Hadoop的Web监控页面 2.3.1 访问HDFS Web监控页面

打开浏览器,在地址栏输入(ip为自己虚拟机ip):
192.168.91.128:50070

或者
node1:50070 (需要先在windows映射Ubuntu ip与主机名)
Windows映射Ubuntu ip和主机名方法:

进入windows系统C:WindowsSystem32driversetc目录,修改hosts文件,添加如下映射语句:

192.168.91.128  node1


浏览器显示截图如下:

7.2 访问YARN的Web监控页面

打开浏览器,在地址栏输入:

192.168.91.128:8088
或者
node1:8088

完成! enjoy it!

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/342320.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号