在mapreduce框架执行时，会将中间结果写入到稳定存储（磁盘）中，会造成大量的数据复制、磁盘io、序列化开销。RDD提供一个抽象的数据构架，需要将具体的应用逻辑表达为一系列转换处理。
不同的RDD之间的转换形成依赖关系，可以实现管道化，避免中间数据存储。
一、什么是RDD
分布式对象集合，本质上是一个只读的分区记录集合，每个RDD可以分成多个分区，每个分区就是一个数据集片段，并且一个RDD的不同分区可以被保存到集群中不同的节点上，可以在不同节点上进行并行计算。
二、RDD高度受限的共享内模型
只读的记录分区集合，不能直接修改，只能基于稳定的物理存储中的数据集创建RDD，或者通过其他RDD执行确定转换的操作形成新的RDD.
三、数据运算
action（动作）、transformation（转换）
四、优缺点
1、高效的容错性
2、中间结果持久化到内存，数据在内存中的多个RDD操作之间进行传递，避免不必要的读写磁盘开销
3、存放的数据可以是Java对象，避免不必要对象序列化和反序列化。
五、shuffle
是否包含shuffle操作区分窄依赖和宽依赖的根据
1、窄依赖表现为一个父RDD的分区对应于一个子RDD的分区或多个父RDD的分区对应于一个子RDD的分区
2、宽依赖则表现为存在一个父RDD的一个分区对应一个子RDD的多个分区
窄依赖可以实现“流水线”优化
宽依赖包含Shuffle过程，无法实现“流水线”优化：
每个RDD 操作都是一个fork/join（一种用于并行执行任务的框架），把计算fork 到每个RDD 分区，完成计算后对各个分区得到的结果进行join 操作，然后fork/join下一个RDD 操作
