- 一、环境准备
- 二、编译
- 三、IDE导入执行SparkPi.scala
1、JDK1.8
2、scala 2.12.15
3、maven 3.8.5
3、Spark3.2.1
spark官网下载最新的sourcecode
1、打开源码父pom.xml修改scala/maven/java对应版本
2、配置maven镜像源
阿里云
3、在cmd/powershell移动到源码目录中父pom.xml所在目录
mvn -DskipTests clean package //使用mvn跳过单元测试编译三、IDE导入执行SparkPi.scala
1、在windows环境下调试Spark程序,需要使用winutils.exe,这边是参照下面这篇文章
Windows调试、开发Spark程序
2、报错NoClassDefFoundError:scala/collection/Seq
原因是刚才生成的spark相关依赖包没有找到,把assemblytargetscala-2.11jar下生成spark所需的jar包添加到examples Module中
3、报错Could not find spark-version-info.properties
新建spark-version-info.properties到examples的resources目录,文件中添加版本信息,如下所示
另外,需要指定部署模式和主类
完美！
