参考文章:本地Spark连接服务器hive测试HADOOP_HOME and hadoop.home.dir are unset 报错处理
在 window 上安装 pyspark 并使用( 集成 jupyter notebook)
windows下搭建spark+python 开发环境
ubuntu中pycharm安装package提示Install packaging tools解决
Linux下使用Pycharm新建Anaconda虚拟环境并使用Anaconda管理虚拟环境
初识Windows下Python开发Spark
1. 官网下载spark
下载地址(目前最新版本3.1.4):Downloads | Apache Spark
下载完成后,spark目录下运行下面spark example时会报错:
报错如下:
2. 问题解决 第一步:下载winutils-master.zipHADOOP_HOME and hadoop.home.dir are unset...
winutils.exe 是用来在windows环境下模拟文件操作的。
https://gitee.com/justlpf/winutils-1
如果你安装的hadoop版本是:3.1.2或者3.2.0 就用winutils-master里面的hadoop-3.0.0配置环境变量,这里我们用hadoop-3.2.1.
第二步:配置环境变量 1) 新建系统变量 2) 编辑path变量 3) 重启idea或者eclipse,如果还是报错,请重启电脑试试!


