Spark集群搭建

目录

• 一.在master虚拟机上安装配置Spark
• • • 1、进入/opt目录，查看spark安装包
    • 2、将spark安装包解压到指定目录
    • 3、配置spark环境变量
    • 4、编辑spark环境配置文件 - spark-env.sh
    • 5、创建slaves文件，添加从节点
• 二.在slave1虚拟机上安装配置Spark
• • • 1、把master虚拟机上安装的spark分发给slave1虚拟机
    • 2、将master虚拟机上环境变量配置文件分发到slave1虚拟机
    • 3、在slave1虚拟机上让spark环境配置文件生效
• 三.在slave2虚拟机上安装配置Spark
• • • 1、把master虚拟机上安装的spark分发给slave2虚拟机
    • 2、将master虚拟机上环境变量配置文件分发到slave2虚拟机
    • 3、在slave2虚拟机上让spark环境配置文件生效
• 三.启动Spark集群
• • • 1.启动hadoop的dfs服务
    • 2.启动Spark集群

一.在master虚拟机上安装配置Spark 1、进入/opt目录，查看spark安装包

2、将spark安装包解压到指定目录

执行命令：tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /usr/local

3、配置spark环境变量

执行命令：vi /etc/profile 并添加

export SPARK_HOME=/usr/local/spark-2.1.1-bin-hadoop2.7
export PATH= S P A R K H O M E / b i n : SPARK_HOME/bin: SPARKH​OME/bin:SPARK_HOME/sbin:$PATH

存盘退出后，执行命令：source /etc/profile，让配置生效

执行命令：cd $SPARK_HOME/conf

4、编辑spark环境配置文件 - spark-env.sh

进入spark配置目录后，执行命令：cp spark-env.sh.template spark-env.sh与vi spark-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_161
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077

存盘退出，执行命令：source spark-env.sh，让配置生效

5、创建slaves文件，添加从节点

执行命令：vi slaves，添加两个从节点主机名

二.在slave1虚拟机上安装配置Spark 1、把master虚拟机上安装的spark分发给slave1虚拟机

执行命令：scp -r $SPARK_HOME root@slave1:$SPARK_HOME1

2、将master虚拟机上环境变量配置文件分发到slave1虚拟机

在master虚拟机上，执行命令：scp /etc/profile root@slave1:/etc/profile

3、在slave1虚拟机上让spark环境配置文件生效

在slave1虚拟机上，进入spark配置目录，执行命令：source spark-env.sh

三.在slave2虚拟机上安装配置Spark 1、把master虚拟机上安装的spark分发给slave2虚拟机

执行命令：scp -r $SPARK_HOME root@slave2:$SPARK_HOME

2、将master虚拟机上环境变量配置文件分发到slave2虚拟机

在master虚拟机上，执行命令：scp /etc/profile root@slave2:/etc/profile

在slave2虚拟机上，执行命令：source /etc/profile，让环境配置生效

3、在slave2虚拟机上让spark环境配置文件生效

在slave2虚拟机上，进入spark配置目录，执行命令：source spark-env.sh

三.启动Spark集群 1.启动hadoop的dfs服务

在master虚拟机上执行命令：start-dfs.sh

2.启动Spark集群

执行命令：start-all.sh

查看master节点进程

查看slave1节点进程

查看slave2节点进程