栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

spark集群配置安装

spark集群配置安装

1.下载spark-3.2.1-bin-hadoop2.7.tgz

2.准备3台服务器,在三台服务器的hosts文件里配置主机名和ip的对应关系,例如:

192.168.100.41  node1
192.168.100.171  node2
192.168.100.232  node3

3.安装jdk并配置环境变量,假设jdk安装路径为/usr/local/jdk

4.关闭防火墙

5.上传spark包到三个服务器的相同文件夹下,解压

6.将conf文件夹下的spark-env.sh.template和workers.template分别命名为spark-env.sh和workers

7.node1作为master,修改三台服务器的spark-env.sh,在文件的最下面添加

   export JAVA_HOME=/usr/local/jdk
   export SPARK_MASTER_HOST=node1
   export SPARK_MASTER_PORT=7077
   export SPARK_LOCAL_IP=本机IP

9.配置node1到node2和node3的ssh免密登陆,关闭防火墙

10.在node1上进入到spark的sbin目录下,执行./start-all.sh

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/753418.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号