搭建Sqark

1. 准备一个安装包并使用Xftp上传
   
2. 解压安装包(-C 是指定解压路径)

tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz -C /usr/local/soft

3. 名字太长改它名字

mv spark-2.4.5-bin-hadoop2.6/ spark-2.4.5

4. 配置环境变量

1. vim /etc/profile

2.添加
export SPARK_HOME=/usr/local/soft/spark-2.4.5
export PATH=$SPARK_HOME/bin

3. 刷新
source /etc/profile

5. 修改配置文件 conf

• 进到conf
  
• 修改spark-env.sh

1.改名
mv spark-env.sh.template spark-env.sh
2.增加配置（注意主节点名称及jdk版本）
export SPARK_MASTER_IP=master
export SPARK_MASTER_PORT=7077

export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=2g
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

• 修改slaves

1.改名
mv slaves.template slaves
2.添加配置(记得删除localtion)
node1
node2

6. 复制到其他节点(先退到spark上一级目录)

scp -r spark-2.4.5 node1:`pwd`
scp -r spark-2.4.5 node2:`pwd`

7. 在主节点执行启动命令

./sbin/start-all.sh

8. 检验是否成功

浏览器访问
http://master:8080/