../spark-xx.xx.xx-bin-hadoopxx.xx.tgz tar xvzf xx.tgz mv xx /usr/soft配置环境变量 vi /etc/profile|evriment $SPARK_HOME PATH=$PATH:$SPARTK_HOME/bin spark-shell local[n] #n与服务器CPU的内核相同 －－master IP #主master2源代码编译版本
下载 spark-1.6.1.tar 用maven安装spark-1.6.1.tar
export MAVEN_OPTS=“-Xmx512m -XX:MaxPemSize=128m” mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.4 -DskipTests clean package mvn install:install-file -Dfile='spark-streaming-mqtt_2.10-1.6.1.jar' -DgroupId='org.apache.spark' -DartifactId='spark-streaming-mqtt_2.10' -Dpackaging='jar' -Dversion='1.6.1' export MAVEN_OPTS="-Xmx4g -XX:MaxPermSize=1024M -XX:ReservedCodeCacheSize=1024m" nohup ./make-distribution.sh --tgz --skip-java-test -Dyarn.version=2.2.0 -Dhadoop.version=2.2.0 -Pyarn -Phive -Phive-thriftserver －－－－－－ export MAVEN_OPTS="-Xmx4g -XX:MaxPermSize=1024M -XX:ReservedCodeCacheSize=1024m" nohup ./make-distribution.sh --tgz --skip-java-test -Dyarn.version=2.6.4 -Dhadoop.version=2.6.4 -Pyarn -Phive -Phive-thriftserver纯净版编译
使用-Pyarn或者-Pyarn-alpha编译出来的是一个完整的包，存放在./assembly/target/scala-2.10下，这个包包含了Spark编译得到的jar包，以及编译过程中所依赖的包。
如果你只想得到Spark的包，而不需要其依赖的Hadoop等，那么可以使用-Pbigtop-dist这个选项指定纯净版的profile（在./assembly/pom.xml中标识）。
编译得到Spark的jar包之后，你就可以调用其API进行二次开发啦！
参考Building Spark - Spark 3.1.2 documentation (apache.org)
