spark配置Yarn模式（混合部署模式）

系列文章：
第一章 Hadoop集群搭建的准备
第二章 Hadoop集群搭建
第三章 Zookeeper分布式集群部署（2n+1台虚拟机）
第四章 Hadoop高可用集群搭建（HA）
待更新
第九章 spark独立模式部署（Standalone）
第十章 spark配置历史服务
第十一章 搭建Spark高可用（HA）
第十二章 spark配置Yarn模式（混合部署模式）
待更新

Spark设置Yarn模式

1.停止集群。2.修改Hadoop的配置文件。3.修改spark-env.sh文件。4.启动HDFS和YARN集群。5.启动集群。6.提交应用测试。7、配置历史服务。

 前提：进入spark目录（这里是/export/servers/spark-3.1.2）

sbin/stop-all.sh

 进入Hadoop的etc/hadoop/目录（这里是/export/servers/hadoop-2.7.4/etc/hadoop）。
 在标签之间添加以下内容：

	
	
		yarn.resourcemanager.pmem-check-enabled
		false
	
	
	
		yarn.resourcemanager.vmem-check-enabled
		false
	

 修改配置文件（先进入spark-3.1.2的conf目录）

cd /export/servers/spark-3.1.2/conf
vim spark-env.sh

 添加JAVA_HOME和YARN_CONF_DIR配置：

export JAVA_HOME=/export/servers/jdk1.8.0
YARN_CONF_DIR=/export/servers/hadoop-2.7.4/etc/hadoop

start-all.sh

sbin/start-all.sh

 进入/export/servers/spark-3.1.2目录

sbin/start-all.sh

 命令行输入：

bin/spark-submit 
--class org.apache.spark.examples.SparkPi 
--master yarn 
--deploy-mode cluster 
./examples/jars/spark-examples_2.12-3.1.2.jar 
10

--deploy-mode 指定部署模式，cluster表示集群模式（控制台看不到结果），client表示客户端模式（控制台可以看到结果）。 7、配置历史服务。

 步骤与 第十章 spark配置历史服务相同，只是在spark-defaults.conf文件中多添加两行配置。
 修改spark-defaults.conf文件。

mv spark-defaults.conf.template spark-defaults.conf
vim spark-defaults.conf

 添加以下内容，配置日志存储路径：

spark.eventLog.enabled	true
spark.eventLog.dir	hdfs://node1:9000/directory
#以下是多出来的两行配置
spark.yarn.historyServer.address=node1:180180
spark.history.ui.port=18080