Spark调度系统包含3个核心组件,分别是DAGScheduler、TaskScheduler和SchedulerBackend。这3个组 件都运行在Driver进程中,它们通力合作将用戶构建的DAG转化为分布式任务,再把这些任务分发给集群中 的Executors去执行。

Spark调度系统包含3个核心组件,分别是DAGScheduler、TaskScheduler和SchedulerBackend。这3个组 件都运行在Driver进程中,它们通力合作将用戶构建的DAG转化为分布式任务,再把这些任务分发给集群中 的Executors去执行。