栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 其他

Spark的 RDD 和 RDD血统依赖

其他 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Spark的 RDD 和 RDD血统依赖

什么是RDD ?

RDD是一个弹性和复原的分步式数据集。
可以解决数据容错时的高效性,以及划分任务起到的重要作用。

RDD 是混合型的编程模型, 可以支持迭代计算, 关系查询, MapReduce, 流计算

RDD 不可变,可分区。是只读的

RDD 之间有依赖关系, 根据执行操作的操作符的不同, 依赖关系可以分为宽依赖和窄依赖

就是在大量记录上执行的单个文件操作,将创建的RDD的一系列的血缘记录下来,以便恢复丢失的数据,相邻两个RDD之间的关系称为依赖关系,新的RDD依赖旧的RDD,多个连续的RDD 相互依赖,称之为血缘关系。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/279453.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号