1、StandAlone的执行模式
1.1.client模式
Spark stand alone提交到集群中，默认的模式为client模式，默认参数是 --deploy-mode client
例如：【本机文件，每个机器都要有jar包，不确定driver运行在哪个节点】
特点：Driver是在SparkSubmit进程中
//stand alone模式client模式下 ./bin/spark-submit --master spark://主机名:7077 --class 全类名 --deploy-mode client jar包位置 程序参数
1.2.cluster模式
在Spark的stand alone集群中，提交spark任务时，可以使用cluster模式即–deploy-mode cluster
./bin/spark-submit --master spark://主机名:7077 --class 全类名 --deploy-mode cluster hdfs://主机名:8020/jar包 程序参数
特点：Driver运行在集群中，不在SparkSubmit进程中，需要将jar包上传到hdfs中
2、Spark On YARN
2.1.配置hadoop
① 需要在/etc/profile中配置HADOOP_CONF_DIR的目录，目的是为了让Spark找到core-site.xml、hdfs-site.xml和yarn-site.xml
修改/etc/profile
export JAVA_HOME= export HADOOP_CONF_DIR=
②配置一个yarn的container可以使用多个vcores
修改capacity-scheduler.xml
yarn.scheduler.capacity.resource-calculator org.apache.hadoop.yarn.util.resource.DominantResourceCalculator
2.2 cluster模式
./bin/spark-submit --master yarn --deploy-mode cluster --executor-memory 1g --executor-cores 2 --num-executors 3 --class 全类名 jar包位置
2.3client模式
.bin/spark-submit --master yarn --deploy-mode client --executor-memory 1g --executor-cores 2 --num-executors 3 --class 全类名 jar包位置
