栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

SparkContext: Error initializing SparkContext解决方法

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

SparkContext: Error initializing SparkContext解决方法

SparkContext: Error initializing SparkContext解决方法

Spark在配置高可用集群中,出现报错
ERROR SparkContext: Error initializing SparkContext. java.net.ConnectException: Call From hadoop102/192.168.10.102 to hadoop102:8020 failed on connection exception: java.net.ConnectException: Connection refused;

这是因为我们配置了Spark日志存储在HDFS中,但是在开启Spark集群后,却没有打开Hadoop,造成提交任务时报错。

解决方案:

  1. 不再存储事件日志
    找到Spark安装目录/conf/spark-defaults.conf文件,如图所示,注释掉相应事件日志部分
  2. 将事件日志存在本地,而非HDFS中
    将上图中第二行的目录替换为Linux本地目录
  3. 启动Hadoop集群(即HDFS服务)
    究其出错原因,还是我们配置了spark日志存储于HDFS中,但是缺没有打开HDFS,所以开启Hadoop集群即可
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/389832.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号