Spark架构图解

• spark架构图解
• 举例BlockManager的作用

广播变量的获取流程：
1、算子内部用到了广播变量
2、第一次使用的task就会去向Executor端获取
3、Executor中如果没有，就会去向Driver获取
（
首先由ConnectionManager去跟Driver建立连接
然后由BlockTransferService负责拉取数据
拉取过来的数据由MemoryStore负责管理
）
4、后续的Executor中的task就可以直接从MemoryStore中直接获取到广播变量

感谢阅读，我是啊帅和和，一位大数据专业大四学生，祝你快乐。