spark版本2.3.4
linux7:四台(hadoop安装的机器,免密)
jdk版本:1.8.xxx 三位小版本以上的(为了兼容scala环境)
获取spark安装包:https://archive.apache.org/dist/spark/spark-2.3.4/spark-2.3.4-bin-hadoop2.7.tgz
解压后目录结构:
2.Standalone模式搭建首先配置spark环境变量
vim /etc/profiles
2.1单机测试版 2.2 集群版 2.2.1手动启动集群这种方式,由于手动操作,可能出现的问题比较多,而且在现实工作中集群庞大也不适合这种方式
启动master节点
./sbin/start-master.sh
启动worker节点:
./sbin/start-slave.sh2.2.2 脚本启动集群**重要**
官方手册:https://spark.apache.org/docs/2.3.4/spark-standalone.html#cluster-launch-scripts
1.拷贝Slaves文件配置slave节点IP
2.修改spark-env.sh
3.分发文件到slave的机器
启动成功后:(资源层的角色)
master
slave
3.使用zookeeper 配置高可用拷贝spark-defaults.conf
持久化 任务
计算层自己会把任务执行的细节放到 log-history



