要绑定主主机名/ IP,请转到您的spark安装conf目录(spark-2.0.2-bin-hadoop2.7 /
conf),然后使用以下命令创建spark-env.sh文件。
cp spark-env.sh.template spark-env.sh
在vi编辑器中打开spark-env.sh文件,并在下面添加带有主服务器主机名/ IP的行。
SPARK_MASTER_HOST=ec2-54-245-111-320.compute-1.amazonaws.com
使用stop-all.sh和start-all.sh停止并启动Spark。现在您可以使用它来连接远程主机
val spark = SparkSession.builder() .appName("SparkSample") .master("spark://ec2-54-245-111-320.compute-1.amazonaws.com:7077") .getOrCreate()有关设置环境变量的更多信息,请检查http://spark.apache.org/docs/latest/spark-
standalone.html#cluster-launch-
scripts



