Spark 2.3 安装部署_大数据系统

Spark 2.3 安装部署

前言

本文隶属于专栏《大数据安装部署方案汇总》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见大数据安装部署方案汇总

正文 1、下载安装包

官方下载地址

CSDN 下载地址

2、规划安装目录

/opt/bigdata

3、上传安装包到服务器 4、解压安装包到指定的安装目录

tar -zxvf  spark-2.3.3-bin-hadoop2.7.tgz  -C /opt/bigdata

5、重命名解压目录

mv  spark-2.3.3-bin-hadoop2.7  spark

6、修改配置文件

进入到spark的安装目录下对应的conf文件夹

vim spark-env.sh ( mv spark-env.sh.template spark-env.sh)

#配置java的环境变量
export JAVA_HOME=/opt/bigdata/jdk
#配置zk相关信息
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER  -Dspark.deploy.zookeeper.url=node1:2181,node2:2181,node3:2181  -Dspark.deploy.zookeeper.dir=/spark"

vim slaves ( mv slaves.template salves)

#指定spark集群的worker节点
node2
node3

7、分发安装目录到其他机器

scp -r spark node2:/opt/bigdata
scp -r spark node3:/opt/bigdata

8、修改spark环境变量

vim /etc/profile

export SPARK_HOME=/opt/bigdata/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

9、分发spark环境变量到其他机器

scp /etc/profile node2:/etc
scp /etc/profile node3:/etc

10、让所有机器的spark环境变量生效

在所有节点执行

source /etc/profile

补充 Spark 集群的启动和停止启动

1、先启动 ZK（Master HA）
2、启动 Spark 集群
- 可以在任意一台服务器来执行（条件：需要任意2台机器之间实现ssh免密登录）

$SPARK_HOME/sbin/start-all.sh

在哪里启动这个脚本，就在当前该机器启动一个Master进程
整个集群的worker进程的启动由slaves文件
后期可以在其他机器单独在启动master

$SPARK_HOME/sbin/start-master.sh

停止

在处于active Master主节点执行

$SPARK_HOME/sbin/stop-all.sh

在处于standBy Master主节点执行

$SPARK_HOME/sbin/stop-master.sh

Spark 2.3 安装部署

大数据系统相关栏目本月热门文章