栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

大数据RDD编程

大数据RDD编程

RDD编程(3)——持久化 持久化简述

  • 第二次行动操作会重复上面的所有操作,RDD会多次重复生成进行计算,这样代价较大。如果能够把第一次的结果缓存起来就好了,那为了解决这个问题,我们就会用到下面我们讲的持久化。

参数类型

(1).presist(MEMORY_ONLY)方法

  • 把RDD作为反序列化的对象存在JVM中,如果内存不足就按照先进先出的原则把内存里的内容替换掉

(2).presist(MEMORY_AND_DISK)方法

  • 同时保存在内存和磁盘,优先保存内存,内存保存不下的会保存到磁盘上面去
  • 简洁点的方法:.cache()方法
  • 手动地把持久化的RDD从缓存中移除:.unpersist()方法
  • 例子:
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/673860.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号