RDD通过Cache或者Persist方法将前面的计算结果缓存,默认情况下会把数据以缓存在JVM的堆内存中。但是并不是这两个方法被调用时立即缓存,而是触发后面的action算子时,该RDD将会被缓存计算节点的内存中,并供后面重用。
缓存有可能丢失,或者存储于内存的数据由于内存不足而被删除,RDD的缓存容错机制保证了即使缓存丢失也能保证计算的正确执行。通过基于RDD的一系列转换,丢失的数据会被重算,由于RD的各个Partition是相对独立的,因此只需要计算丢失的部分即可,并不需要重算全部Partition
Spark会自动对一些Shuffle操作的中间数据做持久化操作(比如:reduceByKey)。这样做的目的是为了当一个节点Shuffle失败了避免重新计算整个输入。但是,在实际使用的时候,如果想重用数据,仍然建议调用persist或cache
2)RDD CheckPoint检查点所谓的检查点其实就是通过将RDD中间结果写入磁盘
由于血缘依赖过长会造成容错成本过高,这样就不如在中间阶段做检查点容错,如果检查点之后有节点出现问题,可以从检查点开始重做血缘,减少了开销。
对RDD进行checkpoint操作并不会马上被执行,必须执行Action操作才能触发。
相关命令:setCheckpointDir
3)缓存Cache和检查点区别Checkpoint1.Cache缓存只是将数据保存起来,不切断血缘依赖。
Checkpoint检查点切断血缘依赖
2.Cache缓存的数据通常存储在磁盘、内存等地方,可靠性低。
Checkpoint的数据通常存储在HDFS等容错、高可用的文件系统,可靠性高。
通常存储在HDFS等容错、高可用的文件系统,可靠性高。
3.建议对checkpoint()的RDD使用Cache缓存,这样checkpoint的job只需从Cache缓存中读取数据即可,否则需要再从头计算一次RDD



