- 本文是参考了厦门大学林子雨的spark（python版）所整理成的笔记，仅供大家参考复习等个人用途，内容勿喷尽量详尽
1.Spark 和Hadoop 的根本差异是多个作业之间的数据通信问题 : Spark 多个作业之间数据通信是基于内存，而 Hadoop 是基于磁盘，MapReduce的磁盘读写量特别高。例map函数和reduce函数，这两个过程需要等待完成
2.
spark作为计算框架在机器学习上完全优于MapReduce的速度和效率
Flink和spark的区别
| spark | Flink | |
|---|---|---|
| 编程接口 | java，python，R语言 | |
| 计算模型 | 基于数据片集合的微批处理模型 | 基于操作符的连续流模型 |
| 优缺点 | 流处理延迟只能达到秒级别 | 毫秒级别 |
Hadoop Beam是google提出的一套编程接口
Spark概述spark是一整个计算框架，hadoop是一个系统，spark使用yarn来整合不同组件的资源调度
Spark的基本运行流程sparkcontext是总流程管理在主控节点上生成来控制所有的进，先向资源管理器申请资源，然后根据程序所运行的逻辑（RDD的依赖关系）来构建DAG（有向无环图），然后DAG图分解成STAge来运行，最后交给task 来执行，work node来申请，然后在task shceduler同意任务申请，在任务分配时遵循：
计算向数据靠拢，分配任务时向数据所在的计算节点发送，来减少数据开销
RDD的具体运行原理-
mapreduce不适合迭代操作，
-
RDD是只读的分区集合，RDD可以很大采用分布式储存
-
RDD在发生转换时可以进行修改
RDD操作类型
- Action（动作类型操作）：
- Transformation（转换类型操作）：
以上均为粗类型操作，即对整个数据进行操作
惰性调用机制：转换类型操作只记录操作轨迹，并不会真正进行操作，当遇到动作类型操作时才会对数据真正进行操
管道机制：中间结果并不存入磁盘，而是输入到内存里
容错：保存RDD图，出错直接从新开始
RDD运行原理shuffle操作：
窄依赖：一个或多个父RDD对应一个子RDD
宽依赖：一个父RDD对应多个子RDD
- 可以归结为是否发生shuffle操作
fork/join优化：
- 窄依赖可以进行流水线优化
- 宽依赖无法进行流水线优化
只要发生Shuffle就一定会读写磁盘
