MapReduce中的maptask和reducetask都是在YarnChild中进行计算的,YarnChild是一个进程,使用jps命令可以看到
它们的区别：
1.
| yarn | Spark |
|---|---|
| ResourceManager | master |
作用:管理子节点,资源调度,接收任务请求
2.
| yarn | spark |
|---|---|
| nodemanager | worker |
管理当前节点,并管理子进程
对于nodemanager来说,子进程是yarnchild和appmaster,对于worker来说就是Executor
3.
yarn中的client用于提交任务,上传jar包,ApplicationMaster负责管理YarnChild
spark中的SparkSubmit相当于yarn中的client+ApplicationMaster,SparkSubmit的作用是提交任务,管理该任务的Executor,并将Task提交到Executor中去执行
4.yarn图
5.spark 图
