栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

SparkSQL数据源

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

SparkSQL数据源

 

第1关:SparkSQL加载和保存

 代码:

package com.educoder.bigData.sparksql2;

 

import org.apache.spark.sql.AnalysisException;

import org.apache.spark.sql.SaveMode;

import org.apache.spark.sql.SparkSession;

 

 

public class Test1 {

    

    public static void main(String[] args) throws AnalysisException {

        SparkSession  spark  =  SparkSession 

                  .builder()

                  .appName("test1")

                  .master("local")

                  .getOrCreate();

       

spark.read().format("json").load("people.json").write().mode(SaveMode.Append).save("people");  

        spark.read().format("json").load("people1.json").write().mode(SaveMode.Append).save("people");  

        spark.read().load("people").show();     

        

        

        

        

        

       

    }

 

    

 

}

第2关:Parquet文件介绍

 代码:

package com.educoder.bigData.sparksql2;

 

import org.apache.spark.sql.AnalysisException;

import org.apache.spark.sql.SparkSession;

 

 

public class Test2 {

 

    public static void main(String[] args) throws AnalysisException {

        SparkSession  spark  =  SparkSession 

                  .builder()

                  .appName("test1")

                  .master("local")

                  .getOrCreate();

       

    spark.read().format("json").load("people.json").write().parquet("people/id=1");  

        spark.read().format("json").load("people1.json").write().parquet("people/id=2");  

        spark.read().load("people").show();     

        

        

        

        

        

       

    }

 

    

 

}

第3关:json文件介绍

 代码:

package com.educoder.bigData.sparksql2;

 

import org.apache.spark.sql.AnalysisException;

import org.apache.spark.sql.SparkSession;

 

 

public class Test3 {

    

    public static void main(String[] args) throws AnalysisException {

        SparkSession  spark  =  SparkSession 

                  .builder()

                  .appName("test1")

                  .master("local")

                  .getOrCreate();

       

    spark.read().format("json").load("people.json").createOrReplaceTempView("people");  

        spark.read().format("json").load("people1.json").createOrReplaceTempView("people1");  

        spark.sql("select avg(salary) from ( select salary from people union all select salary from people1) a").show();    

        

        

        

        

        

       

        

    }

 

    

 

}

第4关:JDBC读取数据源

 代码:

package com.educoder.bigData.sparksql2;

 

import org.apache.spark.sql.Dataset;

import org.apache.spark.sql.Row;

import org.apache.spark.sql.SaveMode;

import org.apache.spark.sql.SparkSession;

 

 

public class Test4 {

 

  public static void case4(SparkSession spark) {

    

   

  Dataset load = spark.read().format("json").load("people.json");  

        load.write()  

          .format("jdbc")  

          .option("url", "jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf-8")  

          .option("dbtable", "people")  

          .option("user", "root")  

          .option("password", "123123")  

          .mode(SaveMode.Overwrite)  

          .save();  

        Dataset load1 = spark.read().format("json").load("people1.json");  

        load1.write()  

          .format("jdbc")  

          .option("url", "jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf-8")  

          .option("dbtable", "people")  

          .option("user", "root")  

          .option("password", "123123")  

          .mode(SaveMode.Append)  

          .save();  

        Dataset load2 = spark.read()  

        .format("jdbc")  

          .option("url", "jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf-8")  

          .option("dbtable", "people")  

          .option("user", "root")  

          .option("password", "123123").load();  

        load2.show();  

    

    

    

   

  }

  

 

}

 

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/986264.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号