栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

IDEA 运行 PySpark 程序时报错:getPythonAuthSocketTimeout

IDEA 运行 PySpark 程序时报错:getPythonAuthSocketTimeout

org.apache.spark.api.python.PythonUtils.getPythonAuthSocketTimeout does not exist in the JVM

解决办法:

依次点击 Run --> Edit Configurations --> Python --> FeatureEngineering

在 FeatureEngineering --> Configuration --> Environment --> Environment variables 中添加两个环境变量:

变量名: PYTHonPATH 变量值:/usr/lib/spark/spark-3.0.3-bin-hadoop2.7/python

变量名:SPARK_HOME 变量值:/usr/lib/spark/spark-3.0.3-bin-hadoop2.7

注: 这两个变量值是在 Include system environment variables 列表中查找到的。如果没有找到 SPARK_HOME 则需要在主机中安装 Spark ,并把 Spark 安装路径编辑到 ~/.bashrc 文件中。

添加完以上两个环境变量后,就可以在 Ideal 中执行 PySpark 程序。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/601723.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号