Spark运行环境搭建

文章目录

• 一、Spark运行环境
• • 1、local环境
  • • （1）解压缩文件
    • （2）启动Local环境
    • （3）编写集群所有进程查看脚本
  • 2、搭建Standalone模式
  • • （1）修改配置文件（在local基础上修改配置文件）
    • （2）复制 spark-env.sh.template 文件名为 spark-env.sh
    • （3）修改spark-env.sh文件，添加JAVA_HOME环境变量和集群对应的master节点
    • （4）分发spark-standalone
    • （5）启动集群
    • （6）查看是否启动成功
    • （7）查看 Master 资源监控 Web UI 界面: http://master:8080（如果master不行用master IP地址）（具体原因是没在Windows里配置文件）
  • 3、配置高可用(HA)

---

一、Spark运行环境 1、local环境

• 不需要其他任何节点资源就可以在本地执行 Spark 代码的环境

（1）解压缩文件

• 将spark-2.1.1-bin-hadoop2.7.tgz 文件上传到Linux解压到指定位置。

[atguigu@master software]$ tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module/
[atguigu@master software]$ cd /opt/module/
[atguigu@master module]$ mv spark-2.1.1-bin-hadoop2.7 spark

（2）启动Local环境

• 进入解压缩后的路径，执行一下命令

[atguigu@master module]$ cd spark/
[atguigu@master bin]$ cd bin
[atguigu@master bin]$ ./spark-shell

• 启动成功后，可以输入网址进行WebUI监控页面访问
  
  -退出本地模式

:quit

（3）编写集群所有进程查看脚本

• 在家目录下的bin里创建脚本xcall.sh(这里我用的是普通用户）(root用户的/root/bin)

• 在脚本中编写如下内容

for i in master slave1 slave2
do
    echo --------- $i ----------
    ssh $i "$*"
done

• :wq 保存
• 修改脚本权限

[atguigu@master bin]$ chmod 777 xcall.sh

• 启动脚本

[atguigu@master bin]$ xcall.sh jps

2、搭建Standalone模式 （1）修改配置文件（在local基础上修改配置文件）

• 进入spark的conf目录，复制slaves.template文件名为slaves

[atguigu@master spark]$ cd conf
[atguigu@master conf]$ vim slaves

• :wq //保存退出

（2）复制 spark-env.sh.template 文件名为 spark-env.sh

[atguigu@master conf]$ cp spark-env.sh.template spark-env.sh

（3）修改spark-env.sh文件，添加JAVA_HOME环境变量和集群对应的master节点

export JAVA_HOME=/opt/module/jdk1.8.0_162
SPARK_MASTER_HOST=master
SPARK_MASTER_PORT=7077

（4）分发spark-standalone

[atguigu@master conf]$ xsync spark-env.sh

（5）启动集群

• 在spark的sbin目录下

[atguigu@master sbin]$ ./start-all.sh

（6）查看是否启动成功

[atguigu@master sbin]$ xcall.sh jps

（7）查看 Master 资源监控 Web UI 界面: http://master:8080（如果master不行用master IP地址）（具体原因是没在Windows里配置文件）

3、配置高可用(HA)