一、逻辑处理
spark将输入输出、中间数据抽象表示为统一的数据模型（数据结构），命名为RDD。RDD是一个逻辑概念，包含多个数据分区。
RDD上定义了两类操作，transformation和action。后者产生输出结果，触发spark提交job真正执行数据处理任务。前者是单向操作。
窄依赖：子RDD每个分区都依赖父RDD中的一部分分区。
宽依赖：输出一个shuffle stage。
如果父RDD的分区整个被子RDD依赖，则是窄依赖。如果父RDD的一些分区被拆开，这个分区只有一部分数据被拉取到子RDD的某个分区，则是宽依赖。窄依赖可以pipelined execution。
二、 物理执行计划
1.根据action操作顺序将应用划分为job
2.根据shuffleDependency将job划分为stage（对每个job，从最后一个RDD往前回溯，遇到窄依赖就合并，遇到宽依赖建立一个stage）
3.根据分区计算将各个stage划分为task（task分为ShuffleMapTasks和ResultTasks）
三、shuffle
聚合、排序、join等操作需要重新分区。shuffle write是map端每个分区写一个shuffle文件，shuffle read是reduce端每个分区从map端的各个分区拉取所需数据。
shuffle write：写shuffle文件方法writePartitionedFile。每个分区生成一个shuffle文件供reduce端拉取。这个shuffle文件按照reduce端的partition id排序或者作为索引。
SortShuffleWriter
创建一个ExternalSorter
如果map端聚合，则使用map--PartitionedAppendOnlyMap
如果不聚合，则使用buffer--PartitionedPairBuffer
这两个结构都具有按键排序的功能（destructiveSortedWritablePartitionedIterator）
对于reduceByKey、sql group by这样的操作，就是每个分区创建一个AppendOnlyMap，在map端聚合，然后写shuffle文件，写之前AppendOnlyMap按照下游的partition id排序，供reduce端读取。
对于row_number、sortByKey，则使用PairBuffer。查看源码可知，ExternalSorter传入的ordering参数传入的是None，实际上它们在map端也是按partition id排序，并没有按key排序。
BypassMergeSortWriter
map端不聚合且分区数少于200开启，例如groupByKey(100)，partitionBy(100)，
sortByKey(100)。reduce端有200个分区，则map端每个task都打开200个buffer（默认32k）。大量小缓存可能造成较大开销。写shuffle文件时仍然合并成一个，缓解小文件问题。
四、缓存和checkpoint的区别
1.缓存是为了加速计算，checkpoint是为了任务失败时能快速恢复。
2.缓存主要用内存，checkpoint主要用分布式文件系统。
3.checkpoint写入速度慢，为了减少对当前job的时延影响，会额外启动专门的job进行持久化。
4.checkpoint的RDD的lineage会被切断。
5.缓存适用于多次读取、不太大的RDD，checkpoint适用于计算链非常长的RDD。
五、内存管理
内存消耗：用户代码、shuffle中间数据、缓存数据
统一内存管理模型
堆内内存+堆外内存
系统保留空间（300MB）+用户代码空间+框架执行空间（shuffle）+数据缓存空间
spark.executor.memory=1GB
用户代码空间+框架执行空间（shuffle）+数据缓存空间=1GB-300MB
spark.memory.fraction=0.6
框架执行空间（shuffle）+数据缓存空间=（1GB-300MB）* 0.6
spark.memory.storageFraction=0.5
数据缓存空间=（1GB-300MB）* 0.6 * 0.5
