- spark-submit提交
编程要求：
jar包所在位置：/root/project.jar
主类：Student 提交模式：local
预期输出：(bj,88)(sh,67)(gz,92)
代码实现：
#!/bin/bash cp -r Spark/SparkRDD/target/project.jar /root cd /opt/spark/dist/bin #********** Begin **********# ./spark-submit --master local --class Student /root/project.jar #********** End **********#
- 相关知识：
使用格式：
./bin/spark-submit
--class
--master
--deploy-mode
--conf
... # other options
application-jar
spark-submit参数
| 参 数 | 介 绍 |
|---|---|
| --master | 提交到哪里执行，如 standalone，local，yarn，mesos等 |
| --name | 应用程序的名称 |
| --class | 应用程序的主类 |
| --deploy-mode | Driver 程序运行的地方，client 或者 cluster，默认是client |
| --driver-memory | Driver内存，默认 1G |
| --executor-memory | 每个executor的内存，默认是1G |
计算圆周率
cd /opt/spark/dist/bin
./spark-submit
--master local
--class org.apache.spark.examples.SparkPi
/opt/spark/dist/examples/jars/spark-examples_2.11-2.2.0.jar
./spark-submit --master 本地模式 --class 程序运行的主类名 xxx.jar
