栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

数据湖之Hudi(2):Hudi编译

数据湖之Hudi(2):Hudi编译

目录

0. 相关文章链接

1. Hudi源码包下载

2. 基于CentOS7编译Hudi(默认Spark等组件版本)

3. 基于windows编译Hudi(默认Spark等组件版本)

4. 基于windows编译Hudi(选择Spark等组件版本)

5. 基于CentOS7编译Hudi(选择Spark等组件版本)

6. 基于windows编译Hudi报错解决方案

7. 各Hudi编译后Jar包下载地址


0. 相关文章链接

大数据基础知识点 文章汇总

1. Hudi源码包下载

        因为Hudi不像Hive、Hadoop等组件一样,解压安装即可使用;而是需要先下载源码,然后根据需要的Hudi版本以及各集成的组件(包括Spark等)版本进行编译;所以需要先下载Hudi的源码包,可以在github中下载,下载地址:GitHub - apache/hudi: Upserts, Deletes And Incremental Processing on Big Data.

2. 基于CentOS7编译Hudi(默认Spark等组件版本)

需要在centos7中安装mavne,maven下载安装教程:Maven的下载安装和使用_yang_shibiao的博客-CSDN博客

可以修改CentOS7为国内镜像,修改教程:CentOS7 原生 yum 源修改为阿里 yum 源_yang_shibiao的博客-CSDN博客

上传对应的zip包,然后解压,解压后如下所示:

注:博主下载的是0.10.1版本,已对根目录进行重命名,并且因为博主已经进行编译,所以其中有packaging包

执行命令,进行编译,编译命令: mvn package -DskipTests

因为编译时会下载相关maven依赖包,所以可以根据上述maven下载安装博文中所示,配置国内镜像,提高下载速度,具体编译时间根据机器和网络来判断,一共会下载1.5G左右的jar包,博主经过多次编译,在maven仓库中无任何Jar包时一共编译了6小时,当所有Jar都有再次编译时,7分钟可以编译完成,编译完成后如下图所示:

3. 基于windows编译Hudi(默认Spark等组件版本)

需要在windows中安装maven,并配置好相应的环境变量,可以参考maven下载安装教程:Maven的下载安装和使用_yang_shibiao的博客-CSDN博客

从github上下载对应的hudi包,然后解压该包,会生成如下图所示内容:

在上述目录下执行maven的编译命令: mvn package -DskipTests

前面30多个包能正常编译,会发现 hudi-integ-test包编译失败,如下图所示:

这是因为这是在windows环境中执行的,hudi-integ-test模块会执行linux环境下的 bash  脚本,从而执行失败,需要把这个模块注释掉,再次执行发现packaging/hudi-integ-test-bundle模块会引用hudi-integ-test这个模块的内容,于是两个test模块都注释掉,如下图所示:

再次执行编译脚本,运行成功,如下图所示: mvn package -DskipTests

4. 基于windows编译Hudi(选择Spark等组件版本)

直接执行如下编译命令即可,可以选择对应的Spark版本和Scala版本等: mvn clean package -DskipTests -Dspark3 -Dscala-2.12  

5. 基于CentOS7编译Hudi(选择Spark等组件版本)

直接执行如下编译命令即可,可以选择对应的Spark版本和Scala版本等: mvn clean package -DskipTests -Dspark3 -Dscala-2.12  

6. 基于windows编译Hudi报错解决方案

如上第3节 基于windows编译Hudi(默认Spark等组件版本) 所示,是因为hudi-integ-test模块会执行linux环境中的bash脚本,需要把hudi-integ-test模块注释,再次执行发现packaging/hudi-integ-test-bundle模块会引用hudi-integ-test这个模块的内容,于是两个test模块都注释掉,这样就可以在windows中进行编译。

7. 各Hudi编译后Jar包下载地址

待更新...


注:Hudi系列博文为通过对Hudi官网学习记录所写,其中有加入个人理解,如有不足,请各位读者谅解☺☺☺

注:其他相关文章链接由此进(包括Hudi在内的各大数据相关博文) -> 大数据基础知识点 文章汇总


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/734106.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号