spark环境搭建

上传文件并解压

配置环境变量 修改配置文件conf

在slaves.template中增加从节点配置 同步到其他节点在主节点启动spark访问spark ui

上传文件解压，配置环境变量，配置bin目录

解压文件到指定目录：

tar -xvf spark-2.4.5-bin-hadoop2.7.tgz -C /usr/local/soft/

这里名字有点长，我们可以给其重命名一下

mv spark-2.4.5-bin-hadoop2.7 spark-2.4.5

vim /etc/profile

source /etc/profile

去除template后缀

cp spark-env.sh.template spark-env.sh

然后进入这个文件进行一些修改

export SPARK_MASTER_IP=master
export SPARK_MASTER_PORT=7077

export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=2g
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

当然，可以先修改一下名称取消后缀名

cp slaves.template slaves

将里面的localhost改成你的从节点，这里我是node1和node2，因为我添加了映射

scp -r spark-2.4.5 node1:`pwd`
scp -r spark-2.4.5 node2:`pwd`

注意：这里最好是进入spark的sbin目录里面执行

./start-all.sh	

  http://master:8080/