栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Spark系列(一)spark安装配置

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Spark系列(一)spark安装配置

1. 环境要求

spark版本2.3.4
linux7:四台(hadoop安装的机器,免密)

jdk版本:1.8.xxx 三位小版本以上的(为了兼容scala环境)

获取spark安装包:https://archive.apache.org/dist/spark/spark-2.3.4/spark-2.3.4-bin-hadoop2.7.tgz

解压后目录结构:

 2.Standalone模式搭建

首先配置spark环境变量

vim /etc/profiles

2.1单机测试版 2.2 集群版 2.2.1手动启动集群

这种方式,由于手动操作,可能出现的问题比较多,而且在现实工作中集群庞大也不适合这种方式

启动master节点

./sbin/start-master.sh

启动worker节点:

./sbin/start-slave.sh 
2.2.2 脚本启动集群**重要**

官方手册:https://spark.apache.org/docs/2.3.4/spark-standalone.html#cluster-launch-scripts

1.拷贝Slaves文件配置slave节点IP

2.修改spark-env.sh

3.分发文件到slave的机器

启动成功后:(资源层的角色)

master

slave

3.使用zookeeper 配置高可用

拷贝spark-defaults.conf

持久化 任务

计算层自己会把任务执行的细节放到  log-history

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/1014312.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号