栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

Windows(Win10)搭建Spark开发环境

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Windows(Win10)搭建Spark开发环境

参考文章:本地Spark连接服务器hive测试HADOOP_HOME and hadoop.home.dir are unset 报错处理

在 window 上安装 pyspark 并使用( 集成 jupyter notebook)

windows下搭建spark+python 开发环境
ubuntu中pycharm安装package提示Install packaging tools解决

Linux下使用Pycharm新建Anaconda虚拟环境并使用Anaconda管理虚拟环境

初识Windows下Python开发Spark


1. 官网下载spark

下载地址(目前最新版本3.1.4):Downloads | Apache Spark

 下载完成后,spark目录下运行下面spark example时会报错:

报错如下:

HADOOP_HOME and hadoop.home.dir are unset...

2. 问题解决 第一步:下载winutils-master.zip

winutils.exe 是用来在windows环境下模拟文件操作的。

https://gitee.com/justlpf/winutils-1

如果你安装的hadoop版本是:3.1.2或者3.2.0 就用winutils-master里面的hadoop-3.0.0配置环境变量,这里我们用hadoop-3.2.1.

第二步:配置环境变量 1) 新建系统变量

2) 编辑path变量

3) 重启idea或者eclipse,如果还是报错,请重启电脑试试!
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/326907.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号