spark standalone模式(spark的四种部署模式)

以下代码用IDEA直接访问spark集群运行（地址是随便写的虚拟地址）

注意：一定要确保spark的版本和集群spark的版本保持一致，集群版本是3.2.0

所以如果IDEA中不是3.2.0的话，修改pom.xml文件：

        
            org.apache.spark
            spark-core_2.12 
            3.2.0
        

        
            org.apache.spark
            spark-sql_2.12
            3.2.0
        
    

import org.apache.spark.sql.SparkSession
import org.apache.spark.{SparkConf, SparkContext}

object ExeFromSparkStandAlone {
  def main(args: Array[String]): Unit = {
    // 设置提交任务的用户
    System.setProperty("HADOOP_USER_NAME","Jason")
    val executorCores = 8
    val coresMax = executorCores * 8//个数取决于目前有多少资源（cores）可用，不要一下把资源占用满
    val partitionNum = coresMax * 3//spark.cores.max * 3
    val conf: SparkConf = new SparkConf()
      .setAppName("SparkStandAlone_Test")
      .setMaster("spark://10.10.10.134:7077")//Spark集群地址
      .setIfMissing("spark.driver.host", "10.10.10.71")//必须添加本地IP（运行Idea的电脑)
      .set("spark.executor.memory","8g")
      .set("spark.executor.cores",executorCores.toString)
      .set("spark.cores.max",coresMax.toString)
      .set("spark.driver.maxResultSize" , "10g")
      .set("spark.default.parallellism" , partitionNum.toString)
      .set("spark.shuffle.consolidateFiles","true")
      .set("spark.sql.shuffle.partitions",partitionNum.toString)
      .setJars(List("D:\IDEA\first-classes\out\artifacts\first_classes_jar11\first-classes.jar"))//Jar包的位置
    val spark: SparkSession = SparkSession.builder.config(conf).getOrCreate()
    val sc: SparkContext = spark.sparkContext
    sc.setLogLevel("WARN")
    val file="/Jason" //HDFS上的文件
    //读取hdfs的文件
    val path = "hdfs://10.10.10.102:9000"+file
    println(path)
    spark.stop()    //关闭资源
  }
}