Spark yarn 模式有两种
- yarn-client，其中yarn-client适合测试环境
- yarn-cluster， yarn-cluster适合生产环境
在详细说明Yarn模式之前， 需要先了解几个名词
- ResourceManager: 整个集群只有一个， 负责集群资源的统一管理和调度， 因为整个集群只有一个，所以也有单点问题
- NodeManager： 它可以理解为集群中的每一台slave
- AM: application master, 对于每一个应用程序都有一个AM, AM主要是向RM申请资源（资源其实就是Container， 目前这个Container就是cpu cores, memory), 然后在每个NodeManager上启动Executors（进一步分布资源给内部任务）， 监控跟踪应用程序的进程等。
这里就引入了YARN的调度框架问题： 双层调度框架
(1)RM统一管理集群资源，分配资源给AM
(2)AM将资源进一步分配给Tasks
等待日志： 21/07/29 16:50:13 WARN YarnClusterScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
