栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Spark 开发环境

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Spark 开发环境

一、安装JDK
本文写于2022年4月,此时最新版的JDK已经更新到了JDK17——下载地址。为了满足开发人员的需要,Oracle仍然提供了JDK8和JDK11可供下载,下载链接也在上面的网站上,只需要把页面下滑即可。

注:由于需要配置Spark,但Spark与较新的JDK兼容性不好,如果使用最新的JDK,后序运行Spark过程中会出现错误。因此,建议初学者安装JDK8即可。

下载完成后即可安装。但需要注意的是,需要为JDK设置三个环境变量PATH、JAVA_HOME、CLASSPATH,网上已经有很多设置环境变量的教程,这里就不再赘述。

环境变量:

创建JAVA_HOME:C:Program FilesJavajdk1.8.0_181

创建CLASSPATH:.;%JAVA_HOME%lib;%JAVA_HOME%libtools.jar(前面有个点号)

Path添加:%JAVA_HOME%bin;

测试是否安装成功:打开cmd命令行,输入java -version

二、安装intelj IDEA并配置scala插件

https://www.jetbrains.com/idea/

IDEA安装完成后,安装scala插件:启动intelj -> 点击启动页configuration -> Plugins,或者file->setting->Plugins,搜索scala并安装插件。如果搜不到,可能是需要代理:Install JetBrains plugin... -> HTTP Proxy Settings设置代理。

安装完成后要重启IDEA。

三、安装scala SDK

其版本应与上面spark/jars/中scala版本一致,3.2版本spark对应的scala版本位2.13+ ,我们安装最新版。

https://www.scala-lang.org/download/all.htmlScala 3.1.2 | The Scala Programming Languagehttps://www.scala-lang.org/download/3.1.2.htmlhttps://www.scala-lang.org/download/all.html

上面链接中提到了多种scala的安装方式,比较省事的是通过已经安装好scala插件的intelj IDEA安装scala SDK(注意区分插件和SDK):File => New => Project,选择scala,输入工程名,如果是第一次新建scala工程,会有一个scala SDK的Create按钮,然后选择需要的版本安装。

而我使用的是安装包安装方式:

环境变量:

创建SCALA_HOME:  

Path添加:;%SCALA_HOME%bin; 

测试是否安装成功:打开cmd命令行,输入scala

四、安装Scala、Hadoop、Spark

scala和Hadoop下载需要注意一下和Spark的对应版本,通过Spark下载网站,如下图,可以得知对应关系。

Pre-built for Apache Hadoop 3.3 and later是指选择的安装包是已经为Hadoop3.3和3.3之后的版本预编译好的,即Hadoop需要下载3.3之后的版本。最下面写明了Spark3是用Scala 2.12预编译好的,因此我需要下载Scala 2.13 版本。

下载好之后同样需要设置环境变量。

Scala 3.1.2 | The Scala Programming Language

安装Hadoop

说明:如果你只是玩Spark On Standalone的话,就不需要安装hadoop,如果你想玩Spark On Yarn或者是需要去hdfs取数据的话,就应该先装hadoop。关于spark和hadoop的关系,强烈推荐这篇博客:Spark是否会替代Hadoop?

安装上面spark对应版本的hadoop3.2:

hadoop-3.3.2 下载地址 解压到指定目录即可。


使用CMD命令解压Hadoop 到安装目录:start winrar x -y hadoop-3.1.2.tar.gz

直接解压会报错。

 

环境变量:

创建 HADOOP_HOME :D:softhadoop-3.1.2

Path添加:%HADOOP_HOME%bin

测试是否安装成功:打开cmd命令行,输入hadoop

Downloads | Apache Spark

下载位置在最下面

Index of /dist/spark

环境变量:

创建SPARK_HOME:D:softspark-3.2.1-bin-hadoop3.2

Path添加:%SPARK_HOME%bin

测试是否安装成功:打开cmd命令行,输入spark-shell

maven 构建工具安装(如果不用maven构建工具,不用装)

http://maven.apache.org/download.cgi

也是下载后解压即可。

环境变量:

MAVEN_HOME = D:softapache-maven-3.6.3

MAVEN_OPTS = -Xms128m -Xmx512m

path添加:%MAVEN_HOME%bin

测试是否安装成功:打开cmd,输入mvn help:system
 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/830387.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号