栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Spark之RDD(看这一篇就够了~)

Spark之RDD(看这一篇就够了~)

什么是RDD?:

RDD:弹性分布式数据集,是Spark中最基本的数据抽象。
特点:弹性、分布式、数据集、数据抽象、不可变。
特性:
1、A list of partitions(一组分区)
分区可以看成是数据集的基本组成单位,对于 RDD 来说, 每个分区都会被一个计算任务处理, 并决定了并行计算的粒度。用户可以在创建 RDD 时指定 RDD 的分区数, 如果没有指定, 那么就会采用默认值。 默认值就是程序所分配到的 CPU Core 的数目。

2、A function for computing each split(计算每个分区的函数)
Spark 中 RDD 的计算是以分片为单位的,每个 RDD 都会实现compute函数以达到这个目的。

3、A list of dependencies on other RDDs( 与其他 RDD 之间的依赖关系)
RDD 的每次转换都会生成一个新的 RDD, 所以 RDD 之间会形成类似于流水线一样的前后依赖关系。 在部分分区数据丢失时,Spark 可以通过这个依赖关系重新计算丢失的分区数据, 而不是对 RDD 的所有分区进行重新计算

4、Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)(对存储键值对的 RDD,还有一个可选的分区器)
只有对于 key-value的 RDD,才会有 Partitioner, 非key-value的 RDD 的 Partitioner 的值是 None;Partitiner 不但决定了 RDD 的本区数量, 也决定了 parent RDD Shuffle 输出时的分区数量。

5、Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)(存储每个切片优先(preferred location)位置的列表)
比如对于一个 HDFS 文件来说, 这个列表保存的就是每个 Partition 所在文件块的位置. 按照“移动数据不如移动计算”的理念, Spark 在进行任务调度的时候, 会尽可能地将计算任务分配到其所要处理数据块的存储位置。

RDD的创建方式:

1、函数parallelize创建
val rdd = sc.parallelize(List(1,2,3,4))

2、函数makeRDD创建
val rdd = sc.makeRDD(List(1,2,3,4))

3、从外部存储创建
sc.textFile("/sparktmp/hello.txt").collect()

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/653736.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号