安装部署编译hudi-0.9.0

hudi 0.9.0 需要->spark3.0.x
spark3.0.x需要->scala 2.12.x / jdk1.8u25x+
本人其他组件版本
hadoop 3.1.1
hive 3.1.0
kafka 2.0.0

配置java1.8环境 scala2.12.10环境 spark3.0.2环境变量

解压maven 包到指定位置
tar -zxvf apache-maven-3.6.1-bin.tar.gz -C /opt/soft添加maven环境变量
vim /etc/profile

source /etc/profile配置 maven阿里云地址
vim /opt/soft/maven/conf/settings.xml

       nexus-aliyun
       central
       Nexus aliyun
       http://maven.aliyun.com/nexus/content/groups/public

以上

环境变量配置如下

JAVA_HOME=/usr/local/java/jdk1.8.0_321
JRE_HOME=/usr/local/java/jdk1.8.0_321/jre

PATH=$PATH:/sbin/:$JAVA_HOME/bin:$CATALINA_HOME/bin

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:
export JAVA_HOME JRE_HOME PATH CLASSPATH
export SCALA_HOME=/usr/local/scala/scala-2.12.10
export PATH=$PATH:$SCALA_HOME/bin
export HADOOP_HOME=/usr/hdp/3.1.4.0-315/hadoop
export HADOOP_CONF_DIR=/usr/hdp/3.1.4.0-315/hadoop/etc/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export SPARK_HOME=/opt/soft/spark3
export PATH=$PATH:$SPARK_HOME/bin

#MAVEN_HOME
export MAVEN_HOME=/opt/soft/maven
export PATH=$PATH:$MAVEN_HOME/bin

下载hudi源码包
解压hudi压缩包
tar -zxvf /opt/soft/hudi/hudi-0.9.0.src.tgz

修改pom文件，增加阿里云地址

    
        nexus-aliyun
        nexus-aliyun
        http://maven.aliyun.com/nexus/content/groups/public/
        
            true
        
        
            false
        
    

修改完成后在hudi-0.9.0目录下执行命令
mvn clean package -DskipTests -DskipITs -Dscala-2.12 -Dspark3
等待12 分钟后编译完成