栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Spark3.2教程(一)Windows10搭建Spark3

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Spark3.2教程(一)Windows10搭建Spark3

目前Spark官方提供的最新版本3.2,是2021年10月份发布,但是该版本搭建Windows下环境,在使用spark-shell时,会报以下错误,尚无解决方案。


退而求其次,使用Spark3.1.2,则完全正常。
本次搭建环境,所使用到的系统为Windows10,JDK1.8,Hadoop3.3.1,Scala2.1.3,Spark为3.1.2
注意过程中,所解压的文件不要放在有空格的文件夹中,CMD使用管理员身份打开。

首先在Windows上搭建Hadoop,请参考:
Windows上搭建Hadoop
成功后,在CMD中输入

hadoop version

会显示:

安装Sacla,官网下载,解压到某盘符下文件中,配置环境变量:

在PATH中,添加

%SCALA_HOME%bin

在CMD中测试:

官网下载Spark,本次下载使用的是:

下载后解压到某盘符下文件夹内,并配置环境变量:

并在PATH中添加:

%SPARK_HOME%bin

在CMD中测试,输入:

spark-shell

可以看到如下画面:

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/672918.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号