栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

spark 在本地模式提交spark-submit报错Name node is in safe mode

spark 在本地模式提交spark-submit报错Name node is in safe mode

问题描述

运行过程中报错显示:


 

原因分析:

根据报错显示,可以发现报错内容显示的是:名称节点处于安全模式。安全模式下不可以实现增删改操作。

 

    当块的数量低于阀值,datanode启动数量不够都会进入安全模式。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入 安全模式。


解决方案:

hadoop为了防止数据丢失,启动了“安全模式”的设置,我们只需要关闭安全模式即可。

1、到Hadoop安装目录下:

cd /usr/local/hadoop-2.7.4/bin/

 2、离开安全模式命令:

hadoop dfsadmin -safemode leave

即可退出安全模式。

 

3、测试提交spark-submit是否成功:

/myserver/spark301/bin/spark-submit --master local[2]   --class org.apache.spark.examples.SparkPi  /myserver/spark301/examples/jars/spark-examples_2.12-3.0.1.jar  10

成功页面显示如图所示:

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/761214.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号