Spark 访问操作OpenGauss数据库

我们使用IDEA开发了一个简单的Demo，用于演示Spark 访问数据库的一些基本操作。本Demo使用数据库包括了 MySQL 和 openGauss 两种。

前提条件：

1、Spark 环境安装

2、数据库安装：MYSQL，OpenGauss

新进SpringBoot Maven项目 Spark-Demo ，pom 关键信息  Spark相关组件，MySQL驱动，openGauss访问驱使用postgresql驱动，本人使用的是本地添加postgresql.jar包方式。

本项目提供了使用Spark 操作MYSQL，OpenGauss数据库的使用用例包括：

表查询，新建表，表插入数据。数据源连接需自行配置。

对于openGauss数据库访问操作，需将项目下lib文件夹中的postgresql.jar 添加到项目类库中。

在File -> Project Structure -> Libraries 中手动添加lib文件夹中postgresql.jar 。

具体项目代码:SparkDemo: Spark 访问数据库操作Demo 请自行下载。

参考信息：Spark JDBC To Other Databases

POM信息如下：

    4.0.0
    
        org.springframework.boot
        spring-boot-starter-parent
        2.6.7
         
    
    org.opengauss.spark
    spark-demo
    0.0.1
    spark-demo
    Demo project for Spring Boot
    
        11
        3.1.2
        2.12
    
    
        
            org.springframework.boot
            spring-boot-starter-web
        

        
            mysql
            mysql-connector-java
            runtime
        
        
            net.openhft
            zero-allocation-hashing
            0.15
        
        
            org.opengauss
            opengauss-jdbc
            3.0.0
        
        
            org.apache.spark
            spark-core_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-streaming_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-sql_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-hive_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-mllib_${scala.version}
            ${spark.version}
        
        
            org.apache.hadoop
            hadoop-common
            3.3.1
        
        
            net.sf.json-lib
            json-lib
            2.4
            jdk15
        

        
            org.slf4j
            slf4j-log4j12
            1.7.21
        

        
            org.codehaus.janino
            janino
            3.0.8
        

        
            org.springframework.boot
            spring-boot-starter-test
            test
        
    

    
        
            
                org.springframework.boot
                spring-boot-maven-plugin
            

            
                org.scala-tools
                maven-scala-plugin
                2.12.2
                
                    
                        
                            compile
                            testCompile