【Spark SQL】数据类型转换和保留小数

数据展示

    //创建环境
    val spark = SparkSession.builder()
      .master("local[6]")
      .appName("test")
      .getOrCreate()
    //隐式转换
    import spark.implicits._
    //读取数据
    val sourceDF = spark.read
      .option("header", true)
      .csv("dataset/test.csv")
    //先展示数据结构
    sourceDF.printSchema()
    //将id改成int类型，成绩改成double类型
    val resout1: Dataframe = sourceDF.select('Sid.cast("int"), 'Sname, 'Score.cast("double"))
    //再次展示数据结构
    resout1.printSchema()

结果展示

    //先展示原始数据
    sourceDF.show()
    //导入隐式转换
    import org.apache.spark.sql.functions._
    //将成绩列数据保留两位小数
    
    val result2: Dataframe = sourceDF.select('Sid, 'Sname, expr("round(Score,2)") as "Score")
    //展示处理后的数据
    result2.show()

    
    val result3: Dataframe = sourceDF.select('Sid, 'Sname, expr("cast(Score as decimal(18,2))") as "Score")
    result3.show()

结果展示