spark 编译环境搭建

spark 编译环境搭建（修改源码使用的环境）

• • 第一步:确保环境问题，需要安装1.8.0_282和 2.12.14,（一定要保证版本正确，否则会报错），最好使用相同的版本，不然有可能会报错
  • 第二步:下载spark的源代码,我使用的是spark3.1.2的版本
  • 第三步:将下载好的tar包解压并使用idea导入
  • 第四步 注销掉所有 pom文件中所有的 < scope> provided< /scope>(前面加了空格，不这样CSDN无法显示)
  • 第五步，生成缺失的代码,rebuild 项目
  • 第六步 添加scala jar包依赖
  • 第七步 测试编译环境

第一步:确保环境问题，需要安装1.8.0_282和 2.12.14,（一定要保证版本正确，否则会报错），最好使用相同的版本，不然有可能会报错

网上教程有很多这里就不再赘述

第二步:下载spark的源代码,我使用的是spark3.1.2的版本

网址如下 https://spark.apache.org/downloads.html

第三步:将下载好的tar包解压并使用idea导入

这里可能刚打开的时候只有配置文件，需要耐心等待一下

30 seconds later ~~~
这个时候虽然生成了项目但是还是不能运行的，因为spark的部分代码需要后期生成，现在我们拿到的还不是完整的。

第四步 注销掉所有 pom文件中所有的 < scope> provided< /scope>(前面加了空格，不这样CSDN无法显示)

解决的报错为:

第五步，生成缺失的代码,rebuild 项目

解决报错为:


这里同样需要等待一会等到进度条拉完,接着重新编译项目

第六步 添加scala jar包依赖

jar包可以在spark的根目录下下载
下载链接：https://download.csdn.net/download/luog_aiyu/34270804
我设置为免费了，但是CSDN要求还是要关注公众号，恶心
如果链接失效，加qq群426859864

把jar包全部选中,可以点一下开头的jar包，再按住shift键点一下结尾的jar包，这样中间的jar包就都可以被选中了,然后点ok

这样就对对spark-examples_2.12 项目中,里面导入scala依赖

第七步 测试编译环境

之后就可以在spark-examples_2.12 项目编写spark程序，并且可以修改对应的spark源代码在本地进行测试了

PS: 我在我朋友的电脑上按照这个教程没有成功，但在我自己的电脑上这样是可行的，我的朋友和我用的不同的idea版本和不同的java版本，暂时不清楚是不是版本的原因，欢迎私信