栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Ubuntu下编译spark源码

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Ubuntu下编译spark源码

Ubuntu下编译spark源码

第一部分跟着博客(https://blog.csdn.net/jy02268879/article/details/81009217)做,做到

这一步的时候,进入Spark源码解压目录,然后输入命令./build/mvn -DskipTests clean package,慢慢等待编译,如果编译过程中遇到curl啥的,一般等一段时间后重新打开一个终端再输入./build/mvn -DskipTests clean package多试几次都能解决了。

测试Spark: 输入./bin/spark-shell可以看到“Spark”字样。
再运行spark.range(1000 * 1000 * 1000).count()如果有如下输出结果,则配好了spark

踩过的坑:

  • 如果使用的jdk是从源码编译的话,需要注意的是jdk有两个路径选择,第一个是jdk13buildlinux-x86_64-server-releaseimagesjdklib,第二个是jdk13buildlinux-x86_64-server-releasejdklib,如果系统使用的是第二个路径的jdk的话,在编译spark的时候会报错,找不到modules文件,而在第一个路径的jdk里面就有这个modules文件。如果在jdk13buildlinux-x86_64-server-release文件夹下没有images文件夹,说明前面make的时候是直接选择make了,重新编译jdk源码把make改为make images就行。
  • 编译耗时漫谈: 第一次编译我使用的下载好的jdk15,编译大概40分钟。第二次使用的是从jdk16源码编译的jdk16,花了1天7小时,初步判断是jdk16当时bash configure的时候采用的是slowdebug版,可能有点慢。
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/390008.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号