- 前言
- 一、安装spark
- 1.将安装包上传到、usr/software下
- 2.将spark解压到/usr/local下
- 3.重命名
- 二、配置spark
- 1.配置env
- 2.配置workers
- 三.环境变量
- 四.拷贝
- 五.启动集群
前言
`简单介绍spark3.x版本的安装与配置
我的三台机器分别为q01,slave02,slave03
`
一、安装spark 1.将安装包上传到、usr/software下 2.将spark解压到/usr/local下[root@q01 software]# tar -zvxf spark-3.1.2-bin-hadoop3.2.tgz -C /usr/local3.重命名
[root@q01 local]# mv spark-3.1.2-bin-hadoop3.2/ spark-3.1.2二、配置spark 1.配置env
进入spark-3.1.2/conf下
将spark-env.sh.template 改名
[root@q01 conf]# mv spark-env.sh.template spark-env.sh
vim 进入spark-env.sh,加入jdk安装路径
export JAVA_HOME=/usr/local/jdk1.8.0_202
保存退出
2.配置workers改名
[root@q01 conf]# mv workers.template workers
vim 进入
在末尾插入从节点的名字
根据你集群的实际情况配置
配置环境变量
vim /etc/profile
在最后面加入
export SPARK_HOME=/usr/local/spark-3.1.2 export PATH=$PATH:$SPARK_HOME/bin
保存退出
source一下
source /etc/profile四.拷贝
进入/usr/local
将配置好的spark拷贝到另外两台机器
注意节点名称和你所处的位置
[root@q01 local]# scp -r spark-3.1.2/ slave02:$PWD
[root@q01 local]# scp -r spark-3.1.2/ slave03:$PWD五.启动集群
先启动hadoop集群：进入hadoop目录下
./sbin/start-all.sh
然后启动spark：进入spark目录下
./sbin/start-all.sh
最后jps一下，三台机器上的状况依次如下：主机，slave02，slave03
如果有不足之处，请留下您宝贵的意见
