栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

RDD持久化

RDD持久化

1)RDD Cache缓存

​ RDD通过Cache或者Persist方法将前面的计算结果缓存,默认情况下会把数据以缓存在JVM的堆内存中。但是并不是这两个方法被调用时立即缓存,而是触发后面的action算子时,该RDD将会被缓存计算节点的内存中,并供后面重用。

​ 缓存有可能丢失,或者存储于内存的数据由于内存不足而被删除,RDD的缓存容错机制保证了即使缓存丢失也能保证计算的正确执行。通过基于RDD的一系列转换,丢失的数据会被重算,由于RD的各个Partition是相对独立的,因此只需要计算丢失的部分即可,并不需要重算全部Partition

​ Spark会自动对一些Shuffle操作的中间数据做持久化操作(比如:reduceByKey)。这样做的目的是为了当一个节点Shuffle失败了避免重新计算整个输入。但是,在实际使用的时候,如果想重用数据,仍然建议调用persist或cache

2)RDD CheckPoint检查点

所谓的检查点其实就是通过将RDD中间结果写入磁盘

由于血缘依赖过长会造成容错成本过高,这样就不如在中间阶段做检查点容错,如果检查点之后有节点出现问题,可以从检查点开始重做血缘,减少了开销。

对RDD进行checkpoint操作并不会马上被执行,必须执行Action操作才能触发。

相关命令:setCheckpointDir

3)缓存Cache和检查点区别Checkpoint

1.Cache缓存只是将数据保存起来,不切断血缘依赖。

​ Checkpoint检查点切断血缘依赖

2.Cache缓存的数据通常存储在磁盘、内存等地方,可靠性低。

​ Checkpoint的数据通常存储在HDFS等容错、高可用的文件系统,可靠性高。

通常存储在HDFS等容错、高可用的文件系统,可靠性高。

3.建议对checkpoint()的RDD使用Cache缓存,这样checkpoint的job只需从Cache缓存中读取数据即可,否则需要再从头计算一次RDD

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/761651.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号